Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    480565
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • dale_coop
      dale_coop last edited by

      Ah ok, merci pour ces précisions, alors fonctionne parfaitement 🙂 Merci à toi pour toutes ces nouveautés bien appréciables. ++

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by

        Hello, je reviens un peu aux nouvelles, pour savoir si certains d'entre vous avez testé la dernière version (qui doit normalement trouver quasi 100% des roms)

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        1 Reply Last reply Reply Quote 0
        • daveheart
          daveheart last edited by

          Salut Screech, Excellent ton travail! Oui je l'ai testé mais je dois être trop nul, malgrès cette simplicité, je n'ai pas réussis à scrapper. Me suis refais un nouveau bartop, donc tout est démonter pour le moment, mais, promis je réessaye dès que possible. Juste une question, tu crois qu'une intégration de ton soft dans Recalbox est possible?

          Pi 0w caméra/motion
          Pi 0 2w
          Pi 2 b Recalbox v7 / bartop / test
          Pi 3 b+ PINN / RaspioOs32 / Recalbox v8
          Pi 4 b PINN / RaspioOs 32 / LineageOs 18 / Recalbox v8

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            Malheureusement, c'est totalement impossible 😉 Déjà parce que mon soft ne fonctionne que sous windows (Et macOs via WINE à priori ^^) Et surtout parce que je suis une grosse quiche sous linux (j'arrive même pas à compiler la version de base de la recalbox ^^ alors y ajouter des trucs :p) Par contre, si tu as des soucis pour faire fonctionner le scraper, n’hésite pas à revenir sur le forum 😉 je t'aiderais 😉 (et en toute logique, si tu as une recalbox "de base", c'est à dire sans modification de nom, ou de log/mdp, tout devrais fonctionner tout seul...) Tiens moi au courant 😉

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              Est ce que ça intéresserait certain si Universal XML Scraper était capable de créer ce genre d'image à la volé pendant le Scrape :   En gros, une fusion du Screenshot au fond, du boitier 3D (ou 2D) et de la Wheel avec le nom. Pour info l'image ci dessus est généré depuis un tout petit bout de code 😉 donc en mettant des paramètres qui vont bien je peux avoir un rendu un peu plus jolie (la le boitier 3D est dégueu...) et surtout automatiser le truc pendant le scrape 😉 ça vous dit ou je vais pas plus loin que mes essais pour tester le GDI+ (moteur de manipulation d'image) ?

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • acris
                acris last edited by

                Salut j'ai testé la dernière version et effectivement il y a moins de roms manquantes enfin de captures d'écran. Par contre, il me manque certains résumés de jeux Pour neogeo, le scrapper a utilisé la base mame Effectivement il manque le résumé fr mais il y a un résumé us qu'il aurait dû prendre à la place logiquement non ? Par contre les résumés complets FR sont dispo sur les bases NEO-GEO AES ET MVS Je n'ai pas utilisé la config auto ni charger un profil je suis allé directement dans configuration. Quand jai testé de stopper le scrap j ai eu aussi un message derreur sur un variable Visionner l'image exemple : http://www.screenscraper.fr/recherche.php?numpage=0&action=androduno

                <game id="40006" source="ScreenScraper">
                <path>./androdun.zip</path>
                <name>ANDRO DUNOS</name>
                <desc/>
                <image>./downloaded_images/androdun-image.jpg</image>
                <rating>0</rating>
                <releasedate/>
                <developer>VISCO CORPORATION</developer>
                <publisher>VISCO</publisher>
                <genre>SHOOT'EM UP</genre>
                <players>1-2 PLAYERS</players>
                <crc32>D09C5A67</crc32>
                <md5>CFB6ED85BD9357B5769AB3C9CF66DF58</md5>
                <sha1>5FB3A5F69DBF5D6AFAF9F5DB1F055A6B11DBE86D</sha1>
                </game>
                
                1 Reply Last reply Reply Quote 0
                • supernature2k
                  supernature2k last edited by

                  Hi @screech, Ce que tu propose là m'intéresse énormément!!!! J'avais dans le projet de faire un thème avec 3 metadata image mais il aurait fallu bidouiller ES. Du coup ta solution est beaucoup mieux! En plus je suis en train de finir un thème où les images sont plus grandes. Le seul problème est qu'est-ce que ça donne pour les roms où il ne trouve pas d'infos ou juste le screenshot? Tu travailles toujours uniquement avec hash? Parce que mes sets fba et mame ne sont toujours pas reconnus (mais neogeo si alors que ça vient du set fba :s) Ne pourrais tu pas rajouter une étape (optionnelle?) pour checker avec le nom de rom si screenscraper le permet? En tout cas pour en revenir à ta proposition, oui!!!!!

                  Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                  Upvote messages if it has been useful ;)

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    @Acris Alors, concernant la config, de base, le profil "pré-sélectionné" est Screenscraper-RecalBox V4 😉 donc pas besoin de choisir de profil, tu as déjà le bon. Sinon, effectivement, la base n'est pas encore complète, il manque encore pas mal de résumé Fr... (Libre à nous d'alimenter la base de donnée 😉 ) En toute logique, s'il n'y a pas de résumé Fr mais qu'il y a un Résumé Us, il devrait au moins te mettre le résumé Us.... Je vais vérifier pourquoi cela ne fonctionne pas. Concernant l'exemple que tu site, effectivement le jeu ANDRO DUNOS Existe pour 3 systèmes : Neo-Geo AES, Neo-Geo MVS et Mame. Si je regarde le CRC que tu fournis : D09C5A67 il correspond à la version Mame. Et, pas de bol, c'est le seul qui n'a pas de résumé Fr :S (Je l'ai ajouté du coup, il faut maintenant attendre qu'il soit validé 😉 ) Enfin, concernant le message d'erreur, si tu peux le reproduire, il faudrait que tu m'envois le fichier log que je vois à quel moment il plante :S Je n'ai pas eu le cas sur les différents tests que j'ai fait (tu étais en mode "Ajout" ou "nouveau fichier" ?) Je trouverais bien le pourquoi du comment 😉 Merci pour ces retours. @Supernature2k Hello, normalement, si tu utilise la dernière version, il fait en dernier recours une recherche avec le nom du fichier (comparer au nom du jeu... Du coup, peut être moins fonctionnel sur des jeux mame :S) L'ordre est le suivant : Test du CRC pour le système sélectionné. Si pas trouvé : Test du CRC pour tous les systèmes. Si toujours pas trouvé : Test du nom du fichier pour trouver une correspondance avec un nom de jeu pour le système concerné. Concernant la fusion d'image, je vais essayer de faire un truc configurable (pour les résolutions et le placement des images 😉 Et si une des image n'est pas trouvé il fera des fusions partielles (genre que le screenshot et la wheel, ou que le boitier et la wheel, etc...) Je vous tiens au courant ^^

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • acris
                      acris last edited by

                      Salut @Screech

                      Concernant l’exemple que tu site, effectivement le jeu ANDRO DUNOS Existe pour 3 systèmes : Neo-Geo AES, Neo-Geo MVS et Mame. Si je regarde le CRC que tu fournis : D09C5A67 il correspond à la version Mame. Et, pas de bol, c’est le seul qui n’a pas de résumé Fr :S (Je l’ai ajouté du coup, il faut maintenant attendre qu’il soit validé ? )

                      j'en ai d'autres dans le même cas, pour neogeo il a pris mame comme scrap et j'en ai plusieurs sans résumé. De mémoire le résumé us etait au moins présent sur quelques uns.

                      Enfin, concernant le message d’erreur, si tu peux le reproduire, il faudrait que tu m’envois le fichier log que je vois à quel moment il plante :S Je n’ai pas eu le cas sur les différents tests que j’ai fait (tu étais en mode “Ajout” ou “nouveau fichier” ?)

                      je l'ai fait pleins de fois ce matin je devrais le reproduire (je suis sous windows 10), je regarde ce soir pour te fournir le log. j etais sur nouveau fichier (l option par défaut je crois bien) Quand je lance scrap (j'etais sur neogeo et fba) et que je l’interrompe tout de suite apres la fenetre apparait.

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        @Acris Suite aux recommandations de MarbleMad, je sélectionne effectivement MAME pour les roms NEOGEO (la NEOGEO étant un système "enfant" de MAME) Jusque la tous va bien. Concernant le résumé US, c'est encore plus bizarre si des fois ça marche et d'autre fois non. Je n'ai pas encore eu le temps de tester, mais je vais regarder ça. Enfin, pour le message d'erreur, c'est un test que je n'ai pas fait (Annuler avant même la première Rom) je vais regarder ça 😉 Merci pour le retour.

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          @Supernature2k Je viens de voir avec MarbleMad, c'est surprenant qu'il ne trouve pas tes roms FBA ou Mame... Tu utilise bien la dernière version d'UXS ? Si c'est le cas, pourrais tu m'envoyer un log avec des roms non trouvées pour que je check pourquoi (voir une ou deux roms pour que je test : screech [at] free.fr ) En toutes logique, si tu n'as pas renommer tes roms, il devrais les trouver (exemple avec une rom nommée ssf2t.zip pour Super Street Fighter II Turbo sans CRC, l'API retourne bien un bon résultat....) Au pire, il est possible que tu ai des éléments entre crochets (exemple un [!] pour un dump complet. Et effectivement ces roms ne sont pas référencées... Je vais voir si je peux modifier la requête pour supprimer ces élément au moment de la recherche 😉 )

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • supernature2k
                            supernature2k last edited by

                            Au temps pour moi @screech, je devais avoir 2 ou 3 versions de retard (tu vas trop vite :p). Effectivement les oms fba passent bien maintenant. En revanche screenshot uniquement. Merci pour tout ce boulot! Ton soft nous aide grandement!

                            Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                            Upvote messages if it has been useful ;)

                            1 Reply Last reply Reply Quote 0
                            • acris
                              acris last edited by

                              Salut @screech voici le log de ton soft mais je pense pas que ça va t'aider :

                              [21:53:02] - ---------------------------------------------------------------------------------------
                              [21:53:02] - Debut de fusion des fichiers
                              
                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                @tporcaro

                                Salut Screech, Je compte tester ton scrapper ce weekend, mais avant j’aurai aimer savoir si ton soft gère le fait qu’il y ai des sous repertoire dans le repertoire qui contient les roms ? Chez moi, j’ai 2 sous repertoires : un ‘favori’ qui contient mes jeux preferes et un ‘autre’ qui contient le reste de la rom set no intro. Du coup, ton scrapper fonctionne t’il dans cette configuration ? Merci d’avance de ton retour

                                Alors je viens de tester 😉 Malheureusement il ne le fait pas en automatique, il te faudra scraper un par un tes sous repertoires, mais ça fonctionne. Exemple de configuration : Si tu as une architecture comme ça : \RECALBOX\User data\roms\nes\plateforme \RECALBOX\User data\roms\nes\action \RECALBOX\User data\roms\nes\fav Il faudra que tu fasses un premier scrape avec les paramètres suivant :

                                $PathRom =\RECALBOX\User data\roms\nes*plateforme* $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

                                un deuxième

                                $PathRom =\RECALBOX\User data\roms\nes*action* $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

                                un troisième

                                $PathRom =\RECALBOX\User data\roms\nes*fav* $PathRomSub =./fav/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

                                Sans oublier, si tu as aussi des Roms à la racine du répertoire nes de faire un scrape avec les paramètres suivant :

                                $PathRom =\RECALBOX\User data\roms\nes $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

                                n'oublie pas non plus de bien cocher la fonction "Ajout de rom" dans le fichier config pour qu'il te mette tous les jeux dans le même fichier xml Au final, tu auras un seul fichier xml ici : \RECALBOX\User data\roms\nes\gamelist.xml tu auras un seul répertoire avec les images ici : _\RECALBOX\User data\roms\nes\downloaded_images_ Et tes différentes roms dans tes différents répertoires. Si tu veux, tu peux même t'amuser à dissocier les images 😉 pour cela : Il faudra que tu fasses un premier scrape avec les paramètres suivant :

                                $PathRom =\RECALBOX\User data\roms\nes\plateforme $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\plateforme\downloaded_images\ $PathImageSub =./plateforme/downloaded_images/

                                un deuxième

                                $PathRom =\RECALBOX\User data\roms\nes\action $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\action\downloaded_images\ $PathImageSub =./action/downloaded_images/

                                etc... Désolé que ce ne soit pas plus simple 😉 je regarderais peut être un jour pour qu'il gère automatiquement les sous répertoires, mais à priori c'est un gros chantier qui modifie pas mal le fonctionnement du truc ^^

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • tporcaro
                                  tporcaro last edited by

                                  Hello Screech,   Merci pour ton retour aussi rapide ! Je vais du coup, peut etre tout repasser dans le repertoire initial. Par fleme de faire X scrap pour X console 🙂 Je n'oublie pas de te faire un retour début de semaine prochaine 🙂

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    Nouvelle version : v 1.2.0.0 !! On serait chez Apple, je pourrais vous dire "Ceci est une révolution !!!" Universal XML Scraper gere maintenant le Mix d'image !!! Tout est configurable (via le fichier de config pour le moment 😉 ) et voila ce que vous pouvez obtenir :   Ce ne sont que des exemples 😉 et les possibilité sont infinies 😉 Pour l'utiliser, il suffit de choisir le profil "ScreenScraper (MIX)-Recalbox v4" Et vous obtiendrez, par défaut, quelques choses du genre de la première image. Si des medias sont manquant sur Screenscraper, il fera le mix avec les éléments qu'il possède. (juste le screenshot, ou le screen+le boitier, ou rien du tout, ....) Je prévois d'autres améliorations à terme, comme l'ajout d'image "fixe" pour y ajouter les images "dynamiques" provenant de Screenscraper ou bien encore l'ajout possible des images provenant du système (wheels de la console, image 3D de la console, image des manettes, etc...) Je vais m'atteler aujourd'hui à corriger le WIKI de UXMLS pour vous expliquer comment faire ce que vous souhaitez 😉 Mais dans tous les cas, je suis à votre dispo si vous avez des demandes particulieres 😉 ( @Acris j'en ai aussi profité pour corriger le petit bug du message d'erreur, n'hesite pas à me tenir au courant 😉 )

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • tporcaro
                                      tporcaro last edited by

                                      Screech, Je pensais à mon problème de ce matin : si je réalise cette procédure : - remettre tout dans le repertoire d'origine - Lancer ton scrapper - Redeplacer mes jeux dans leur repertoire (favoris et autre) L'affichage des images fonctionnera t'il toujours sous recalbox ?   Encore désolé de toutes mes questions 😉

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        Malheureusement oui et non... Tes images fonctionneront toujours (si tu ne les bouge pas) par contre les roms ne fonctionneront plus... Exemple si tu deplace\RECALBOX\User data\roms\nes\mario.zip dans \RECALBOX\User data\roms\nes\favoris\mario.zip Il faut aussi que tu changes dans le fichier XML l'emplacement ou il va le chercher : ./mario.zip devra être changé en ./favoris/mario.zip Ce n'est donc peut être pas le plus simple... (Après, si tu tri par genre ça peut être relou, mais si c'est juste les favoris pourquoi n'utilise tu pas le système de favoris intégré à la Recalbox ?)

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • tporcaro
                                          tporcaro last edited by

                                          Oui, je crois bien que c'est la meilleure solution 🙂 Je ne t'embete plus avec mes questions! 🙂

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by

                                            Pas de soucis 😉 hésite pas à demander 😉 je suis la pour ça ^^

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            73
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com