Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    480382
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • yassa57
      yassa57 last edited by

      Salut si vous n'etes pas trop patient vous pouvez utiliser esxml editor il vous permet de faire un killall directement depuis le pc en ssh et apres vous pouvez rebooter depuis le pc donc plus facile a gerer

      1 Reply Last reply Reply Quote 0
      • kvtt
        kvtt last edited by

        Salut, J'aime bien ce logiciel bravo !!! Par contre je scrappe le Set (no-intro) master system 533 roms depuis hier soir 16h30 et j'en suis à la 359 roms, après 16h de scrappe !!!! Pourtant ce n'est pas ma connexion internet qui rame. et si je peux me permettre : est-il possible que le logiciel ne rescrappe pas toutes les images si elle existent déja (Mise à jour), ce qui serait pratique en cas de mise à jour ou de plantage du scrappe. Merci encore pour ce logiciel.

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by screech

          Hello, bon, pour info, ça reste une beta 😉 donc tout n'est pas encore au top ^^ Sinon,

          • je vais ajouter un check pour ne pas re-telecharger les images si elles existe.
          • je vais ajouter un menu SSH comme sur mon ancien soft pour pouvoir killer emulationstation facilement 😉
          • et rajouter des traces pour voir pourquoi ça mets autant de temps chez certains.

          (pour info, les tests que j'ai fait : environ 500 Roms gamegear, directement sur le réseau, un poil plus d'1 minute... Du coup, 16h de scrap pour 350 roms ??? Je ne sais pas pourquoi, c'est pas normal :S) Je vous tiens au courant dans la journée 😉

          (Pour info, je bosse aussi en parallèle sur un nettoyeur de Rom 😉 pour pouvoir virer d'un set toutes les roms non désirées genre : BETA, Proto, Full Jap, etc... mais ça aussi c'est loin d’être finit... je fait trop de trucs en même temps... C'est mal :p)

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • kvtt
            kvtt last edited by

            Cool Merci Screech, si tu veux que je fasse des tests pour toi (sur les lenteurs), je suis là n'hésite pas 🙂

            1 Reply Last reply Reply Quote 0
            • dylan-tretout
              dylan-tretout last edited by

              Quand recalbox est en veille sa ne scrape plus je croit, c'est pour sa que sa a du mettre 16h. Du coup je laisse un jeu en route pour eviter sa. Petite question screech, est ce que dans la prochaine maj ont pourra choisir entre  les différentes covers disponible sur screenzone (2d, 3d...)

              1 Reply Last reply Reply Quote 0
              • geeknroll
                geeknroll last edited by

                Ca nous promet un bon petit logiciel bien pratique! Recalbox avec les scrapes en français on ne pouvait pas rêver mieux. Autrement je confirme qu'il m'a fallu + d'1 minute pour scraper les 497 roms GGear: 1h30 pile poil pour 475 scrapes. Ca reste raisonnable, je ne suis pas encore à 16h comme @David, moi il m'a fallu + d'une heure pour 400 roms mastersystem (pour le même set mais j'avais viré quelque titres). Mais le résultat final est aux petits oignons! Je scrape par le réseau sur le disque dur branché à ma Rpi2 sous recalbox v4 Même la Rpi en veille chez moi j'ai l'impression que ça scrape, par contre le PC lui il reste allumé. Pour les consoles suivantes je vais d'abord trier pour éviter les doublons entre les jap, usa, eur, rev1, rev2, alpha, beta, charlie, delta, echo, fox-trot.... mdr Mais je me répète c'est du super bon boulot entre ce petit soft, tous ceux qui ont traduit les scrapes, et surtout la team recalbox.  Merci à vous tous.

                1 Reply Last reply Reply Quote 0
                • yassa57
                  yassa57 last edited by

                  Salut geeknroll dis moi tu as dans le dossier images Tu les a en boitier de jeu ou en screenshoot ?

                  1 Reply Last reply Reply Quote 0
                  • geeknroll
                    geeknroll last edited by

                    Salut TIT. Screenshots chez moi. Après c'est une question de préférences, pour ma part je trouve mieux de voir à quoi ressemble le jeu, et éventuellement le reconnaître, plutôt qu'une jaquette qui ne me dit rien. Mais apparemment si tu modifie le fichier de config de universalXMLscraper tu as moyen de récupérer les jaquettes. Où alors si tu n'aimes pas bidouiller tu patientes un peu... Screech va peut être rajouter une option dans une version future qui permettrais de choisir l'image a afficher.

                    1 Reply Last reply Reply Quote 0
                    • yassa57
                      yassa57 last edited by

                      Oui j ai parler avec lui il ma vraiment bien aider un grand merci a lui

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by screech

                        Hello, Alors, voila une nouvelle version 😉
                        BETA 1.0.0.1 (Lien non disponible merci de checker le github 😉 )

                        Les modif :

                        • Ne re-telecharge pas les images si elles existent
                        • Correction des profils pour les boîtiers
                        • Ajout d'un menu SSH pour kill emulationstation / Reboot / et Stop.

                        J'en ai profité pour refaire des petits tests. (Je sais pas d'ou j'ai sortie mes 1 minutes de scrape lol faut que j’arrête la moquette ^^) Avec le dl des images :

                        J'ai refait un test avec les images déjà présentes... Il ne les retelecharge pas, mais je n'ai pas constaté de gain de temps (bon au pire, cela économisera la bande passante et le serveur 😉 )

                        Je n'ai pas encore ajouté les traces, mais ça vient 😉

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by screech

                          Ah oui, pour changer les images...

                          Pour des boîtiers en 2D, il suffit d'éditer le fichier config.ini et de changer les lignes suivantes :
                          $ELEMENT_11 = 'image|value|medias/media_screenshot|path:image'
                          $ELEMENT_12 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
                          $ELEMENT_13 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
                          $ELEMENT_14 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
                          $ELEMENT_15 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
                          En :
                          $ELEMENT_11 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
                          $ELEMENT_12 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
                          $ELEMENT_13 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
                          $ELEMENT_14 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
                          $ELEMENT_15 = 'image|value|medias/media_screenshot|path:image'

                          Du coup ça téléchargera en priorité les boîtiers FR, puis EU, puis US, puis JP et si vraiment aucun boitier un screenshot 😉

                          BONUX :  Si vous voulez les boîtiers en 3D, remplacez simplement 2d par 3d dans les chemins 😉

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • yassa57
                            yassa57 last edited by

                            Dans le nouveau logiciel avant on devait ecrire pour le gamelist images /images Maintenant dans le soft c est /downloaded-images/ Pour le.chemin des images a telecharger on doit creer un dossier images ou downloaded-image

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by screech

                              Officiellement, la recalbox V4 stock les images dans un rep nommé /downloaded-images/
                              (Si vous utilisé par exemple le scraper intégré dans la recalbox)
                              Officieusement, vous mettez ça ou vous voulez tant que le fichier gamelist.xml indique le bon chemin 😉

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • yassa57
                                yassa57 last edited by

                                Petit probleme.au niveau de la gamelist tout se passe bien j ai les images toute ma gamelist est ok est pourtant quand je veux juste l.ouvrir avec esxml il me marque un message d erreur est donc quand je le.met dans la recalbox rien ne fonctionne j ai que la liste des jeux

                                1 Reply Last reply Reply Quote 0
                                • yassa57
                                  yassa57 last edited by

                                  Alors que quand je scrappe avec esxml ou la methode scrapper depuis le pc les gamelist passent dans esxml quelqu un a t il eu ce probleme

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by screech

                                    oui c'est un défaut de esxml :S si les différents éléments du fichier xml ne sont pas dans le bon ordre, esxml plante :S

                                    C'est du au fait que je n'exploitait pas correctement le format xml dans esxml... et que dans le nouveau scraper j'utilise un vrai module pour cela 😉 des corrections sont à l'étude (et surtout une refonte de esxml sur la base du scraper 😉 )

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • yassa57
                                      yassa57 last edited by

                                      1. Quand je compare les deux gamelist celle de xml n est pas ordonner tout es sur la.meme ligne au niveau des 3 premieres lignes il manque aussi ca > a la fin de game
                                      2. Par contre avec esxml ou celui de base scrapper via son pc les.gamelist sont ordonnees vont bien a la ligne
                                      3. D ou cela peut il venir ?
                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by screech

                                        Tu pourrais m'envoyer ton fichier xml qui déconne que je regarde le résultat ?
                                        Parce que tous ceux que j'ai généré sont correct.
                                        (Attention, il est possible que si le scrape est stoppé en cours de génération, le dernier jeu ne soit pas complet et/ou correct.)

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        stamstamstam 1 Reply Last reply Reply Quote 0
                                        • kvtt
                                          kvtt last edited by

                                          Pour en revenir à mon problème de lenteur de scrap j'ai fini par l'annuler. Mes roms et donc les scraps sont sur clé usb. J'ai donc vérifier la clé usb sur mon pc et me suis aperçu qu'il y avait des erreurs sur la clé (répertoire illisible). J'ai bien essayé de réparer la clé avec fsck (sous Linux) mais en vain.... Bref j'ai changé de clé USB. Donc les lenteurs devait venir de la je pense. je vais tester la nouvelle version demain.

                                          1 Reply Last reply Reply Quote 0
                                          • yassa57
                                            yassa57 last edited by

                                            screech voila le debut de mon gamelist il apparait tel quel tout aligner comme ca <?xml version="1.0" encoding="UTF-8"?><gameList> <game source="ScreenScraper"> <path>./86</path> <crc32/> <md5/> <sha1/> </game> <game source="ScreenScraper"> <path>./a.p.b. - all points bulletin (usa, europe).zip</path> <crc32>4E5B2FFB</crc32> <md5>CE4CF97F08204A78771E2F80949837ED</md5> <sha1>F5405A32126CA3664BFDB09A022B45713B9875A4</sha1> </game> <game source="ScreenScraper"> <path>./alien vs predator (usa) (proto).zip</path> <crc32>92B517E5</crc32> <md5>2F8D0874E478891D32649552FE5B5F8D</md5> <sha1>43C3596F69D21A3C8247110C557B5C396D38616B</sha1> </game> <game source="ScreenScraper"> <path>./awesome golf (usa, europe).zip</path> <crc32>24E45DE5</crc32> <md5>107C23E8A68A8BD987C04DC0D9C81971</md5> <sha1>F496670EB97F42F18B404F98B64A92DA5526947E</sha1> </game> <game source="ScreenScraper"> <path>./baseball heroes (usa, europe).zip</path> <crc32>1EC202B2</crc32> <md5>33E442B8B7798B73118DBAAD760AE9F3</md5> <sha1>527DD2641B54F03A926575C2E29E6E4C7AC8103B</sha1> </game>

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            65
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com