Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    481185
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      @Supernature2k Je viens de voir avec MarbleMad, c'est surprenant qu'il ne trouve pas tes roms FBA ou Mame... Tu utilise bien la dernière version d'UXS ? Si c'est le cas, pourrais tu m'envoyer un log avec des roms non trouvées pour que je check pourquoi (voir une ou deux roms pour que je test : screech [at] free.fr ) En toutes logique, si tu n'as pas renommer tes roms, il devrais les trouver (exemple avec une rom nommée ssf2t.zip pour Super Street Fighter II Turbo sans CRC, l'API retourne bien un bon résultat....) Au pire, il est possible que tu ai des éléments entre crochets (exemple un [!] pour un dump complet. Et effectivement ces roms ne sont pas référencées... Je vais voir si je peux modifier la requête pour supprimer ces élément au moment de la recherche 😉 )

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • supernature2k
        supernature2k last edited by

        Au temps pour moi @screech, je devais avoir 2 ou 3 versions de retard (tu vas trop vite :p). Effectivement les oms fba passent bien maintenant. En revanche screenshot uniquement. Merci pour tout ce boulot! Ton soft nous aide grandement!

        Pi powered NES | Gameboy HD | RecalStation | RecalDrive
        Upvote messages if it has been useful ;)

        1 Reply Last reply Reply Quote 0
        • acris
          acris last edited by

          Salut @screech voici le log de ton soft mais je pense pas que ça va t'aider :

          [21:53:02] - ---------------------------------------------------------------------------------------
          [21:53:02] - Debut de fusion des fichiers
          
          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            @tporcaro

            Salut Screech, Je compte tester ton scrapper ce weekend, mais avant j’aurai aimer savoir si ton soft gère le fait qu’il y ai des sous repertoire dans le repertoire qui contient les roms ? Chez moi, j’ai 2 sous repertoires : un ‘favori’ qui contient mes jeux preferes et un ‘autre’ qui contient le reste de la rom set no intro. Du coup, ton scrapper fonctionne t’il dans cette configuration ? Merci d’avance de ton retour

            Alors je viens de tester 😉 Malheureusement il ne le fait pas en automatique, il te faudra scraper un par un tes sous repertoires, mais ça fonctionne. Exemple de configuration : Si tu as une architecture comme ça : \RECALBOX\User data\roms\nes\plateforme \RECALBOX\User data\roms\nes\action \RECALBOX\User data\roms\nes\fav Il faudra que tu fasses un premier scrape avec les paramètres suivant :

            $PathRom =\RECALBOX\User data\roms\nes*plateforme* $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

            un deuxième

            $PathRom =\RECALBOX\User data\roms\nes*action* $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

            un troisième

            $PathRom =\RECALBOX\User data\roms\nes*fav* $PathRomSub =./fav/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

            Sans oublier, si tu as aussi des Roms à la racine du répertoire nes de faire un scrape avec les paramètres suivant :

            $PathRom =\RECALBOX\User data\roms\nes $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

            n'oublie pas non plus de bien cocher la fonction "Ajout de rom" dans le fichier config pour qu'il te mette tous les jeux dans le même fichier xml Au final, tu auras un seul fichier xml ici : \RECALBOX\User data\roms\nes\gamelist.xml tu auras un seul répertoire avec les images ici : _\RECALBOX\User data\roms\nes\downloaded_images_ Et tes différentes roms dans tes différents répertoires. Si tu veux, tu peux même t'amuser à dissocier les images 😉 pour cela : Il faudra que tu fasses un premier scrape avec les paramètres suivant :

            $PathRom =\RECALBOX\User data\roms\nes\plateforme $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\plateforme\downloaded_images\ $PathImageSub =./plateforme/downloaded_images/

            un deuxième

            $PathRom =\RECALBOX\User data\roms\nes\action $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\action\downloaded_images\ $PathImageSub =./action/downloaded_images/

            etc... Désolé que ce ne soit pas plus simple 😉 je regarderais peut être un jour pour qu'il gère automatiquement les sous répertoires, mais à priori c'est un gros chantier qui modifie pas mal le fonctionnement du truc ^^

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • tporcaro
              tporcaro last edited by

              Hello Screech,   Merci pour ton retour aussi rapide ! Je vais du coup, peut etre tout repasser dans le repertoire initial. Par fleme de faire X scrap pour X console 🙂 Je n'oublie pas de te faire un retour début de semaine prochaine 🙂

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                Nouvelle version : v 1.2.0.0 !! On serait chez Apple, je pourrais vous dire "Ceci est une révolution !!!" Universal XML Scraper gere maintenant le Mix d'image !!! Tout est configurable (via le fichier de config pour le moment 😉 ) et voila ce que vous pouvez obtenir :   Ce ne sont que des exemples 😉 et les possibilité sont infinies 😉 Pour l'utiliser, il suffit de choisir le profil "ScreenScraper (MIX)-Recalbox v4" Et vous obtiendrez, par défaut, quelques choses du genre de la première image. Si des medias sont manquant sur Screenscraper, il fera le mix avec les éléments qu'il possède. (juste le screenshot, ou le screen+le boitier, ou rien du tout, ....) Je prévois d'autres améliorations à terme, comme l'ajout d'image "fixe" pour y ajouter les images "dynamiques" provenant de Screenscraper ou bien encore l'ajout possible des images provenant du système (wheels de la console, image 3D de la console, image des manettes, etc...) Je vais m'atteler aujourd'hui à corriger le WIKI de UXMLS pour vous expliquer comment faire ce que vous souhaitez 😉 Mais dans tous les cas, je suis à votre dispo si vous avez des demandes particulieres 😉 ( @Acris j'en ai aussi profité pour corriger le petit bug du message d'erreur, n'hesite pas à me tenir au courant 😉 )

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • tporcaro
                  tporcaro last edited by

                  Screech, Je pensais à mon problème de ce matin : si je réalise cette procédure : - remettre tout dans le repertoire d'origine - Lancer ton scrapper - Redeplacer mes jeux dans leur repertoire (favoris et autre) L'affichage des images fonctionnera t'il toujours sous recalbox ?   Encore désolé de toutes mes questions 😉

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Malheureusement oui et non... Tes images fonctionneront toujours (si tu ne les bouge pas) par contre les roms ne fonctionneront plus... Exemple si tu deplace\RECALBOX\User data\roms\nes\mario.zip dans \RECALBOX\User data\roms\nes\favoris\mario.zip Il faut aussi que tu changes dans le fichier XML l'emplacement ou il va le chercher : ./mario.zip devra être changé en ./favoris/mario.zip Ce n'est donc peut être pas le plus simple... (Après, si tu tri par genre ça peut être relou, mais si c'est juste les favoris pourquoi n'utilise tu pas le système de favoris intégré à la Recalbox ?)

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • tporcaro
                      tporcaro last edited by

                      Oui, je crois bien que c'est la meilleure solution 🙂 Je ne t'embete plus avec mes questions! 🙂

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        Pas de soucis 😉 hésite pas à demander 😉 je suis la pour ça ^^

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          pour info, je continue mes tests 😉 Ça marche pour tous les systèmes 😉 (en fonction des medias présent sur Screenscraper) Exemple : Master system : Game Gear : CPS2 : Nes : Bon, c'est du fait à l'arrache 😉 J'ai ajouté des images "fixe" (la télé, la gamegear) que j'ai détouré vite fait/mal fait ^^ Mais ça donne une idée des possibilités 😉 (Je precise, qu'il n'y a aucune retouche sur les images ci dessus, elles sont directement généré par Universal XML Scraper ^^. J'ai juste ajouté des modeles avec un fond transparent, genre la télé ou la gamegear)

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • supernature2k
                            supernature2k last edited by

                            Alors là @screech, tu vas trop loin!!!! ça déchire la race de sa maman!!!!!!!!!!! C'est exactement ce qu'il me fallait, ça ira super bien dans mon thèmes 🙂 Je suis en train de faire un romset megadrive, pour l'instant ça claque. Perso les bezels j'accroche pas du tout mais peut être que ça plaira à certain. Moi ce qui me botterai c'est comme le 1er (réglage par défaut du dernier release) mais avec title comme sur les suivants en bas à droite. Tu me dit ce que je dois mettre dans le ini? 🙂 Merci pour le taf que tu fais, le soft était déjà vachement utile au départ mais depuis les améliorations au fil des semaines, il est maintenant indispensable 😉

                            Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                            Upvote messages if it has been useful ;)

                            1 Reply Last reply Reply Quote 0
                            • supernature2k
                              supernature2k last edited by

                              Bon oublie ma question, j'ai trouvé tout seul 😉 J'ai mis des media_wheels au lieu de media_wheelssteel résultat: Awesome!!!!!!!!!!!!!!!!!!

                              Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                              Upvote messages if it has been useful ;)

                              1 Reply Last reply Reply Quote 1
                              • screech
                                screech last edited by

                                Génial !!! Si en plus tu as trouvé tout seul comment changé 😉 c'est que mon truc est plutôt bien fait ^^ J'ajoute encore quelques bidouilles ^^ et je post une nouvelle version pour mettre des images fixes 😉

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  @Supernature2k C'est bon, tu peux rescraper ton set megadrive 😉 ça devrait mieux marcher 😉 Marblemad à corrigé 😉

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • supernature2k
                                    supernature2k last edited by

                                    Hi @screech! Effectivement maintenant je suis à 100% sur presque tous les systèmes!!!! Excellent. Merci @marblemad! Bon par contre j'ai du refaire tous les systèmes (en mode ajout) 1 par 1. J'ai une erreur sur la config générale. Il me dit aucun zip trouvé dès le début et s'arrête. Maintenant la dernière chose qui me reste, ce sont les roms non zippés. Surtout les PSX et Sega CD (mais aussi un romset N64 et Atari ST). Tu as une idée pour ça? Je vais poster mon thème aujourd'hui, il est quasiment fini. Avec tes scrappes, ça donne super bien!!! (enfin imo)

                                    Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                    Upvote messages if it has been useful ;)

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      Le message il te fait ça quand tu demandes de scraper tous les systèmes ? Si oui il faudra que je check 😉 Sinon, j'ai ajouté la possibilité de déformer les images, de mettre des images fixes (venant du disque dur et pas du scrape) et je suis en train de mettre au point un système de profile pour les mix 😉 (comme ça on pourras choisir directement dans le soft le style de mix 😉 ) Bon c'est loin d’être finit, mais voila quelques essais 😉     En plus cela donne des images quand même, même s'il ne trouve rien ^^ (La nature a horreur du vide ^^ autant le remplir ^^) Exemple, un jeux nes pas trouvé :   Je vous dirais quand je mettrais la dernière version 😉

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • acris
                                        acris last edited by

                                        tu t'éclates bien screech, je confirme correction du bug ok @screech j ai toujours des manques dans mes scraps le synopsis n est pas pris en compte si le fr n existe pas. exemple avec mame

                                        <game id="40762" source="ScreenScraper">
                                        <path>./cterrani.zip</path>
                                        <name>TERRANEAN</name>
                                        <desc/>
                                        <image>./downloaded_images/cterrani-image.jpg</image>
                                        <rating>0</rating>
                                        <releasedate/>
                                        <developer>DATA EAST</developer>
                                        <publisher>DATA EAST CORPORATION</publisher>
                                        <genre>TIR</genre>
                                        <players>1-2 PLAYERS</players>
                                        <crc32>987FD452</crc32>
                                        <md5>9B79287565A6C6B8B670D45C78F7772A</md5>
                                        <sha1>40A3E5114CD44FE69712980DA0023032F6D17EBC</sha1>
                                        </game>
                                        

                                        http://www.screenscraper.fr/gameinfos.php?gameid=40762

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          Ouaip je m'éclate et j'ai trouvé le bug en plus ^^ Corriger dans la prochaine version que je mettrais en ligne dès que possible (la c'est trop instable avec les modifs que j'ai faites ^^)

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • supernature2k
                                            supernature2k last edited by

                                            Là c'est too much pour moi mais bravo pour le boulot! Effectivement un profil pour le mix serait génial, pourrais tu y inclure la position des éléments? Y a t'il moyen de récup juste le marquee pour les jeux arcades? (pour mettre en lieu et place des boites de jeux)

                                            Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                            Upvote messages if it has been useful ;)

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            98
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com