Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    480775
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • clad-strife
      clad-strife last edited by

      Sur xxxxx.org, et tu à raison j'ai confondu, mais c'est que comme les sets arcade sont en lien dans le topics je l'ai considéré comme no intro ( à tord). Mais il est dédié FBA (comme mes sets FBA Libertro et Mame).

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by

        Et voila une nouvelle version : v1.1.1.5 Elle corrige quelques petits bugs 😉 (sans en rajouter d'autre j’espère 😛 ) Et surtout, elle permet maintenant de scanner TOUS vos systèmes d'un coup. En gros, quand la configuration automatique est active, c'est que vous lui avez indiquer le chemin du répertoire qui contient les répertoires de chacun de vos systèmes (eux mêmes contenant : vos roms, le rep des images, et le fichier gamelist.xml) Si vous avez une config "de base" l'auto config fonctionne directement normalement 😉 Vous pouvez cependant changer facilement le répertoire (si vous utilisez une clef USB ou un DD externe par exemple) Un clic sur le menu "Scraper tous les systèmes" et c'est partie pour des heures de scrape ^^ L'avantage : vous vous réveillez le lendemain matin tout est scrappé 😉 (Bon vous pouvez l’arrêter avant si vous voulez 😉 pour le reprendre plus tard en cochant : "Ajout des roms manquantes" ) Je vous laisse tester 😉 A bientôt.

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        1 Reply Last reply Reply Quote 0
        • acris
          acris last edited by

          Salut

          Et surtout, elle permet maintenant de scanner TOUS vos systèmes d’un coup.

          enfin !!!! j'attends cette nouveauté depuis longtemps merci !!!!

          1 Reply Last reply Reply Quote 0
          • jomofcw
            jomofcw last edited by

            Salut, Me voilà de retour au vu des nouvelles versions émises ^^. Merci @screech, ça marche impeccable ! Par contre l'utilisation n'est pas très obvious en mon sens. Donc si on reste calé sur ces options de fonctionnement, il serait peut être bon dans un avenir proche de tenter quelque chose de plus "didactique" au niveau des menus, ou une doc complétée. Mais, chaque chose en son temps ^^. Bon, maintenant, je m'en vais tester ton soft pour dédoublonner :D.

            "Be CoOl, KeEp CoOl, HaVe FuN !"

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              Justement c’était ce sur quoi je bossé 😉 Je viens de mettre une nouvelle version en ligne avec une fenêtre de config un peu plus simple (avec des "hints" youhou !!) : v1.1.1.6 Je mettrais prochainement à jour le WIKI 😉

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • dale_coop
                dale_coop last edited by

                Super, fonctionne très bien cette petite version. J'ai une bizarrerie... lorsque je scrape mes roms neogeo (en configuration automatique "neogeo"), c'est le logo mame qui s'affiche pendant le traitement. Mais rien de bien génant. J'ai pas encore testé les autres roms. note: je suis sous mac OSX (via wine[bottler]) ++

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  @dale_coop Cool ça marche sur MAC via Wine ^^ Merci d'avoir testé 😄 Sinon pour le logo Mame, c'est normal. Sur les conseils de MarbleMad (dev du site Screenscraper) Neogeo, CPS1, CPS2, et d'autre sont des "enfants" de mame. En gros si tu as des roms mame dans un répertoire Neogeo et que tu lui indique Neogeo, il ne les trouveras pas (enfin c'est plus vrai avec mes dernières modifs ^^) alors que des rom Neogeo dans un répertoire Mame, il les trouvera. @tout-les-autres ^^ Détail très important que j'ai oublié de mettre sur la dernière version : La recherche est en 3 étapes maintenant :

                  • Le soft cherche le CRC pour le système défini
                  • S'il ne trouve pas, il cherche le CRC pour tous les Systèmes
                  • S'il ne trouve toujours pas, il cherche le Nom du fichier pour le système défini

                  Du coup, on devrait vraiment se rapprocher du 100% de Roms trouvées ^^ (Bon maintenant, il faut qu'on se mette tous au boulot pour compléter le site Screenscraper ^^ parce que c'est bien beau de trouver la Rom, mais s'il n'y a aucune info sur le site, bein il n'y a rien en retour ^^)

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • dale_coop
                    dale_coop last edited by

                    Ah ok, merci pour ces précisions, alors fonctionne parfaitement 🙂 Merci à toi pour toutes ces nouveautés bien appréciables. ++

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by

                      Hello, je reviens un peu aux nouvelles, pour savoir si certains d'entre vous avez testé la dernière version (qui doit normalement trouver quasi 100% des roms)

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • daveheart
                        daveheart last edited by

                        Salut Screech, Excellent ton travail! Oui je l'ai testé mais je dois être trop nul, malgrès cette simplicité, je n'ai pas réussis à scrapper. Me suis refais un nouveau bartop, donc tout est démonter pour le moment, mais, promis je réessaye dès que possible. Juste une question, tu crois qu'une intégration de ton soft dans Recalbox est possible?

                        Pi 0w caméra/motion
                        Pi 0 2w
                        Pi 2 b Recalbox v7 / bartop / test
                        Pi 3 b+ PINN / RaspioOs32 / Recalbox v8
                        Pi 4 b PINN / RaspioOs 32 / LineageOs 18 / Recalbox v8

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          Malheureusement, c'est totalement impossible 😉 Déjà parce que mon soft ne fonctionne que sous windows (Et macOs via WINE à priori ^^) Et surtout parce que je suis une grosse quiche sous linux (j'arrive même pas à compiler la version de base de la recalbox ^^ alors y ajouter des trucs :p) Par contre, si tu as des soucis pour faire fonctionner le scraper, n’hésite pas à revenir sur le forum 😉 je t'aiderais 😉 (et en toute logique, si tu as une recalbox "de base", c'est à dire sans modification de nom, ou de log/mdp, tout devrais fonctionner tout seul...) Tiens moi au courant 😉

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            Est ce que ça intéresserait certain si Universal XML Scraper était capable de créer ce genre d'image à la volé pendant le Scrape :   En gros, une fusion du Screenshot au fond, du boitier 3D (ou 2D) et de la Wheel avec le nom. Pour info l'image ci dessus est généré depuis un tout petit bout de code 😉 donc en mettant des paramètres qui vont bien je peux avoir un rendu un peu plus jolie (la le boitier 3D est dégueu...) et surtout automatiser le truc pendant le scrape 😉 ça vous dit ou je vais pas plus loin que mes essais pour tester le GDI+ (moteur de manipulation d'image) ?

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • acris
                              acris last edited by

                              Salut j'ai testé la dernière version et effectivement il y a moins de roms manquantes enfin de captures d'écran. Par contre, il me manque certains résumés de jeux Pour neogeo, le scrapper a utilisé la base mame Effectivement il manque le résumé fr mais il y a un résumé us qu'il aurait dû prendre à la place logiquement non ? Par contre les résumés complets FR sont dispo sur les bases NEO-GEO AES ET MVS Je n'ai pas utilisé la config auto ni charger un profil je suis allé directement dans configuration. Quand jai testé de stopper le scrap j ai eu aussi un message derreur sur un variable Visionner l'image exemple : http://www.screenscraper.fr/recherche.php?numpage=0&action=androduno

                              <game id="40006" source="ScreenScraper">
                              <path>./androdun.zip</path>
                              <name>ANDRO DUNOS</name>
                              <desc/>
                              <image>./downloaded_images/androdun-image.jpg</image>
                              <rating>0</rating>
                              <releasedate/>
                              <developer>VISCO CORPORATION</developer>
                              <publisher>VISCO</publisher>
                              <genre>SHOOT'EM UP</genre>
                              <players>1-2 PLAYERS</players>
                              <crc32>D09C5A67</crc32>
                              <md5>CFB6ED85BD9357B5769AB3C9CF66DF58</md5>
                              <sha1>5FB3A5F69DBF5D6AFAF9F5DB1F055A6B11DBE86D</sha1>
                              </game>
                              
                              1 Reply Last reply Reply Quote 0
                              • supernature2k
                                supernature2k last edited by

                                Hi @screech, Ce que tu propose là m'intéresse énormément!!!! J'avais dans le projet de faire un thème avec 3 metadata image mais il aurait fallu bidouiller ES. Du coup ta solution est beaucoup mieux! En plus je suis en train de finir un thème où les images sont plus grandes. Le seul problème est qu'est-ce que ça donne pour les roms où il ne trouve pas d'infos ou juste le screenshot? Tu travailles toujours uniquement avec hash? Parce que mes sets fba et mame ne sont toujours pas reconnus (mais neogeo si alors que ça vient du set fba :s) Ne pourrais tu pas rajouter une étape (optionnelle?) pour checker avec le nom de rom si screenscraper le permet? En tout cas pour en revenir à ta proposition, oui!!!!!

                                Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                Upvote messages if it has been useful ;)

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  @Acris Alors, concernant la config, de base, le profil "pré-sélectionné" est Screenscraper-RecalBox V4 😉 donc pas besoin de choisir de profil, tu as déjà le bon. Sinon, effectivement, la base n'est pas encore complète, il manque encore pas mal de résumé Fr... (Libre à nous d'alimenter la base de donnée 😉 ) En toute logique, s'il n'y a pas de résumé Fr mais qu'il y a un Résumé Us, il devrait au moins te mettre le résumé Us.... Je vais vérifier pourquoi cela ne fonctionne pas. Concernant l'exemple que tu site, effectivement le jeu ANDRO DUNOS Existe pour 3 systèmes : Neo-Geo AES, Neo-Geo MVS et Mame. Si je regarde le CRC que tu fournis : D09C5A67 il correspond à la version Mame. Et, pas de bol, c'est le seul qui n'a pas de résumé Fr :S (Je l'ai ajouté du coup, il faut maintenant attendre qu'il soit validé 😉 ) Enfin, concernant le message d'erreur, si tu peux le reproduire, il faudrait que tu m'envois le fichier log que je vois à quel moment il plante :S Je n'ai pas eu le cas sur les différents tests que j'ai fait (tu étais en mode "Ajout" ou "nouveau fichier" ?) Je trouverais bien le pourquoi du comment 😉 Merci pour ces retours. @Supernature2k Hello, normalement, si tu utilise la dernière version, il fait en dernier recours une recherche avec le nom du fichier (comparer au nom du jeu... Du coup, peut être moins fonctionnel sur des jeux mame :S) L'ordre est le suivant : Test du CRC pour le système sélectionné. Si pas trouvé : Test du CRC pour tous les systèmes. Si toujours pas trouvé : Test du nom du fichier pour trouver une correspondance avec un nom de jeu pour le système concerné. Concernant la fusion d'image, je vais essayer de faire un truc configurable (pour les résolutions et le placement des images 😉 Et si une des image n'est pas trouvé il fera des fusions partielles (genre que le screenshot et la wheel, ou que le boitier et la wheel, etc...) Je vous tiens au courant ^^

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • acris
                                    acris last edited by

                                    Salut @Screech

                                    Concernant l’exemple que tu site, effectivement le jeu ANDRO DUNOS Existe pour 3 systèmes : Neo-Geo AES, Neo-Geo MVS et Mame. Si je regarde le CRC que tu fournis : D09C5A67 il correspond à la version Mame. Et, pas de bol, c’est le seul qui n’a pas de résumé Fr :S (Je l’ai ajouté du coup, il faut maintenant attendre qu’il soit validé ? )

                                    j'en ai d'autres dans le même cas, pour neogeo il a pris mame comme scrap et j'en ai plusieurs sans résumé. De mémoire le résumé us etait au moins présent sur quelques uns.

                                    Enfin, concernant le message d’erreur, si tu peux le reproduire, il faudrait que tu m’envois le fichier log que je vois à quel moment il plante :S Je n’ai pas eu le cas sur les différents tests que j’ai fait (tu étais en mode “Ajout” ou “nouveau fichier” ?)

                                    je l'ai fait pleins de fois ce matin je devrais le reproduire (je suis sous windows 10), je regarde ce soir pour te fournir le log. j etais sur nouveau fichier (l option par défaut je crois bien) Quand je lance scrap (j'etais sur neogeo et fba) et que je l’interrompe tout de suite apres la fenetre apparait.

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      @Acris Suite aux recommandations de MarbleMad, je sélectionne effectivement MAME pour les roms NEOGEO (la NEOGEO étant un système "enfant" de MAME) Jusque la tous va bien. Concernant le résumé US, c'est encore plus bizarre si des fois ça marche et d'autre fois non. Je n'ai pas encore eu le temps de tester, mais je vais regarder ça. Enfin, pour le message d'erreur, c'est un test que je n'ai pas fait (Annuler avant même la première Rom) je vais regarder ça 😉 Merci pour le retour.

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        @Supernature2k Je viens de voir avec MarbleMad, c'est surprenant qu'il ne trouve pas tes roms FBA ou Mame... Tu utilise bien la dernière version d'UXS ? Si c'est le cas, pourrais tu m'envoyer un log avec des roms non trouvées pour que je check pourquoi (voir une ou deux roms pour que je test : screech [at] free.fr ) En toutes logique, si tu n'as pas renommer tes roms, il devrais les trouver (exemple avec une rom nommée ssf2t.zip pour Super Street Fighter II Turbo sans CRC, l'API retourne bien un bon résultat....) Au pire, il est possible que tu ai des éléments entre crochets (exemple un [!] pour un dump complet. Et effectivement ces roms ne sont pas référencées... Je vais voir si je peux modifier la requête pour supprimer ces élément au moment de la recherche 😉 )

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • supernature2k
                                          supernature2k last edited by

                                          Au temps pour moi @screech, je devais avoir 2 ou 3 versions de retard (tu vas trop vite :p). Effectivement les oms fba passent bien maintenant. En revanche screenshot uniquement. Merci pour tout ce boulot! Ton soft nous aide grandement!

                                          Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                          Upvote messages if it has been useful ;)

                                          1 Reply Last reply Reply Quote 0
                                          • acris
                                            acris last edited by

                                            Salut @screech voici le log de ton soft mais je pense pas que ça va t'aider :

                                            [21:53:02] - ---------------------------------------------------------------------------------------
                                            [21:53:02] - Debut de fusion des fichiers
                                            
                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            75
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com