Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    480681
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • jomofcw
      jomofcw last edited by

      Merci pour ta réponse @screech :-). En attendant j'ai utilisé FullScrape.sh. Je retenterais quand ces points seront fixé ! Quoi qu'il en soit, merci pour le taf accompli et celui à venir !

      "Be CoOl, KeEp CoOl, HaVe FuN !"

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by

        Bon, effectivement, le changement est radical avec cette méthode 😉 Sachant qu'il y a plus de 15 minutes de calcul de Hash. Je vais essayer de raccourcir ce temps la aussi 😉 et on devrait avoir un scrape qui dépote 😉 Je modifie en même temps le corps du soft pour la partie "Append" qui ne fera que compléter les roms manquante et ça devrait être plutôt cool 😉   (Je n'ai pas encore publié la dernière versions mais ça arrive 😉 )

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        1 Reply Last reply Reply Quote 0
        • voljega
          voljega Banned last edited by

          Genial !!!

          1 Reply Last reply Reply Quote 0
          • reaver-seven
            reaver-seven last edited by

            Bonsoir, tout d'abord, merci beaucoup pour ce superbe logiciel et cette base de données géniale.   Je rencontre cependant un facheux problème. En effet, il ne veut pas télécharger les images de roms de la NES, qui pourtant, sont issues de set no intro, et au format zip dans leur nom d'origine. J'ai 200 roms NES, elles sont bien détectées, le scrap s'effectue normalement et la gamelist se génere, mais je n'ai aucune image dans "downloaded_images". J'ai tout essayé, depuis la recalbox, depuis windows, et je n'ai aucun problème sauf avec la NES. Auriez vous une solution miracle?   Voici un aperçu du log:

            [00:38:34] - ()Rom non trouve : Ice Climber (USA, Europe).zip [00:38:34] - Recuperation des informations de la Rom no 26 [00:38:35] - Fin de l'ecriture des informations de la Rom no 26 en 0.942s [00:38:35] - ()Rom non trouve : Kart Fighter (Unl).zip [00:38:35] - Recuperation des informations de la Rom no 27 [00:38:36] - Fin de l'ecriture des informations de la Rom no 27 en 0.968s [00:38:36] - ()Rom non trouve : Kirby's Adventure.zip [00:38:36] - Recuperation des informations de la Rom no 28 [00:38:37] - Fin de l'ecriture des informations de la Rom no 28 en 0.916s [00:38:37] - ()Rom non trouve : Legend of Zelda, The (USA).zip

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              Je travail sur une nouvelle version beaucoup plus performante 😉 Elle devrait être prête ce soir 😉 (En plus j'ai découvert un petit bug sur les image justement, ça devrait peut être régler ton soucis 😉 )

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • jomofcw
                jomofcw last edited by

                Beau boulot @screech ! Si la version est dispo je ferais des tests dans la semaine et j'te donnerais un retour, si ça peut aider :-).

                "Be CoOl, KeEp CoOl, HaVe FuN !"

                1 Reply Last reply Reply Quote 0
                • reaver-seven
                  reaver-seven last edited by

                  Je serai ravi de pouvoir filer la main, car même les roms de snes il trouve pas les images >< alors que la GBA et  la Megadrive aucun probleme ^^   Edit: bon et bah suite a la maj les problèmes persistent toujours. Tant pis, je vais repasser sur le fullscrape.sh de l'autre tuto. C'est vraiment dommage car les snapshot et le programme sont bien fichus. Toutes mes roms sont issues de la box HFS, donc no intro.  Et que ce soit Snes et NES il ne veut rien trouver, qu'importe le format des jeux, j'ai tout éssayé 7z, zip, rar, format .nes ou Sfc etc... rien n'y fait.   Merci quand même!

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Désolé, je devais mettre la MaJ hier soir et je n'ai pas pu. Je vais essayer ce soir. Par contre, aurais tu moyen de m'envoyer une rom de ton set que je la test (mail : screech [at] free.fr) C'est surprenant que tes autres set fonctionnent sauf la NES et la SNES...

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • reaver-seven
                      reaver-seven last edited by

                      entendu, mail envoyé, mais ne te prends pas la tête, au pire je vais ajouter manuellement tous les snapshots via l'editeur XML^^

                      1 Reply Last reply Reply Quote 0
                      • dale_coop
                        dale_coop last edited by

                        Tout comme John Rimbaud, moi aussi, j'ai le souci du fichier INI qui ne garde pas mes chemins. Pour tant le numéro de version indiqué dedans correspond bien, et j'ai enlevé la clé "verbose" pour voir, mais pas mieux. Et sinon une autre remarque, pour quoi le titre de la fenêtre est "Universale XML Scraper" et pas "Universal XML Scraper" ? (coquille?) Sinon, très sympathique ton soft, bravo ! ++ dale

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          @Reaver Seven : Bon, je viens de tester les roms que tu m'a envoyé. Voila le résultat : [13:58:38] - (*)Rom non trouve : Final Fantasy (USA).zip(Hash : A8DA8005) [13:58:39] - (*)Rom non trouve : Legend of Zelda, The (USA).zip(Hash : 1CC64968) [13:58:40] - (*)Rom non trouve : Legend of Zelda, The - A Link to the Past (France).zip(Hash : 6D117E69) [13:58:40] - (*)Rom non trouve : Mario Bros. Classic (Europe).zip(Hash : E99C2AC6) [13:58:41] - (*)Rom non trouve : Mega Man X [Traduction FR].zip(Hash : CD530E6C) [13:58:42] - (*)Rom non trouve : Street Fighter II Turbo (USA).zip(Hash : 8DC4525F) J'ai checké les HASH sur Screenscraper, et effectivement, aucune de tes Roms ne possèdent un HASH qui correspond aux jeux du site :S Donc, ou tes Roms ne viennent pas d'un set (genre no-intro) ou il y a eu compression/decompression/recompression ce qui a modifié les hash 😞 J'ai donc testé avec une de mes Roms : [14:05:07] - Rom trouve : Final Fantasy (USA).zip(Hash : 4D4356BB) Et moi ça marche 😞 Je t'encourage donc à rechercher les derniers set no-intro 😉 (Une petite recherche google : no-intro 2016 Archive et tu devrais trouver ton bonheur) @dale_coop Je vais rechecker ma mise à jour du fichier ini (pourquoi il le change, c'est bizarre). Et sinon merci pour le E en trop ^^

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            @dale_coop @ReaverSeven @JustOnMyOwn @Voljega Voila, la dernière version est enfin sortie Universal XML Scraper V1.1.0.0 J'ai même failli l'appeler V2 tellement les changement (pas forcement visible) sont nombreux. J'ai revu complètement le moteur de scrape sur les conseils de @Voljega Maintenant chaque Rom créer sont petit fichier dans un répertoire TEMP pour ensuite être fusionné à la fin. Le gain de temps est assez incroyable. Le Hash se fait au moment du scrape de chaque rom (cela permet de ne pas tout Hasher au début) J'ai ajouté un menu qui permet de choisi si vous voulez ajouter des section "vide" pour les roms non trouvées. Et enfin la version qui permet de compléter un fichier commencé... J'ai fait pas mal de tests, un peu dans tous les sens et je n'ai pas trouvé d'anomalie. Donc n’hésitez pas à me remonter si vous trouvez des bug 😉 Au passage j'ai corrigé 2 bugs : un sur les images qui n’était pas toujours ajouté au fichier XML si elles existé déjà et le bug sur les fichier INI qui se réinitialise systématiquement.. Voila 😉 à vous de jouer 😉 P.S. : J'ai aussi ajouté un petit timer pour indiquer le temps estimé restant avant la fin du scrape... Il n'est pas très précis au début mais s'affine sur la fin ^^ (comme il s'agit d'une moyenne de temps de scrape par rom multiplié par le nombre de roms restantes, tant que la moyenne fluctue, surtout au début, le temps restant fluctue aussi 😉 )

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • acris
                              acris last edited by

                              @screech je viens de telecharger la derniere version en x64 et j'ai ce message d'erreur : Visionner l'image avec un no file(s) were found. Je testai sur psx, pcengine fichier en bin+cue provenant de différents sites.

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                @Acris oui, il va falloir que je mette un message plus clair 😉 (et du coup corriger ce petit bug au moment de la fusion 😉 ) Mais seul les fichier zip peuvent être scrapé pour le moment 😞

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • acris
                                  acris last edited by

                                  Faudrait peut etre indiqué ou faire une petite vérification de l extension détecté pour dire que les zip sont uniquement supportés. Le message apparait effectivement uniquement avec des fichiers dézippés. ça serait bien qu un log pour chaque dossier scanné note les roms non trouvées.

                                  1 Reply Last reply Reply Quote 0
                                  • voljega
                                    voljega Banned last edited by

                                    Bravo pour cette nouvelle version !

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      @Acris it's done 😉 Version 1.1.0.1

                                      • Ajout d'un fichier missing.txt dans le répertoire des roms scrapées contenant le noms des roms non trouvé et leur hash en CRC32
                                      • Modification du message d'erreur lors d'un répertoire vide
                                      • Correction d'une erreur lorsque aucune rom n'est trouvée

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • hardt
                                        hardt last edited by

                                        Je ne dois pas être très doué, je pose ma question ici 😉 J'ai lancé le scrape pour la NES, tout s'est bien passé, les images apparaissent bien dans le dossier downloaded_images, mais rien n'apparait sous Recalbox... est-ce que je dois changer quelque chose? Edit: je n'avais pas kill ES, peut-être que cela vient de là... A retester !

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          @hardt Effectivement, si tu n'avais pas kill ES, il ne prend pas en compte ton scrape. Sinon, vérifie bien tes chemins (normalement dans la config par défaut les chemins sont ok pour une V4 et la nes 😉 après tu adaptes 😉 )

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • acris
                                            acris last edited by

                                            Merci @Screech Par contre je ne comrpend pas qu'au 1er lancement il y a un tjs un message d'erreur : le chemin du fichier xml n'est pas accessible. suivie d'un autre message d'erreur : les chemins des ROMS et images ne sont pas accessibles. Je pense que ça serait judicieux de lancer la GUI de configuration ou de profil. edit : d ailleurs j ai les messages d'erreur qui apparaissent aussi si je choisis un profil , est ce normal ? Pc sous windows 10/win 7

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            84
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com