Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    481124
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      @tporcaro

      Salut Screech, Je compte tester ton scrapper ce weekend, mais avant j’aurai aimer savoir si ton soft gère le fait qu’il y ai des sous repertoire dans le repertoire qui contient les roms ? Chez moi, j’ai 2 sous repertoires : un ‘favori’ qui contient mes jeux preferes et un ‘autre’ qui contient le reste de la rom set no intro. Du coup, ton scrapper fonctionne t’il dans cette configuration ? Merci d’avance de ton retour

      Alors je viens de tester 😉 Malheureusement il ne le fait pas en automatique, il te faudra scraper un par un tes sous repertoires, mais ça fonctionne. Exemple de configuration : Si tu as une architecture comme ça : \RECALBOX\User data\roms\nes\plateforme \RECALBOX\User data\roms\nes\action \RECALBOX\User data\roms\nes\fav Il faudra que tu fasses un premier scrape avec les paramètres suivant :

      $PathRom =\RECALBOX\User data\roms\nes*plateforme* $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

      un deuxième

      $PathRom =\RECALBOX\User data\roms\nes*action* $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

      un troisième

      $PathRom =\RECALBOX\User data\roms\nes*fav* $PathRomSub =./fav/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

      Sans oublier, si tu as aussi des Roms à la racine du répertoire nes de faire un scrape avec les paramètres suivant :

      $PathRom =\RECALBOX\User data\roms\nes $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/

      n'oublie pas non plus de bien cocher la fonction "Ajout de rom" dans le fichier config pour qu'il te mette tous les jeux dans le même fichier xml Au final, tu auras un seul fichier xml ici : \RECALBOX\User data\roms\nes\gamelist.xml tu auras un seul répertoire avec les images ici : _\RECALBOX\User data\roms\nes\downloaded_images_ Et tes différentes roms dans tes différents répertoires. Si tu veux, tu peux même t'amuser à dissocier les images 😉 pour cela : Il faudra que tu fasses un premier scrape avec les paramètres suivant :

      $PathRom =\RECALBOX\User data\roms\nes\plateforme $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\plateforme\downloaded_images\ $PathImageSub =./plateforme/downloaded_images/

      un deuxième

      $PathRom =\RECALBOX\User data\roms\nes\action $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\action\downloaded_images\ $PathImageSub =./action/downloaded_images/

      etc... Désolé que ce ne soit pas plus simple 😉 je regarderais peut être un jour pour qu'il gère automatiquement les sous répertoires, mais à priori c'est un gros chantier qui modifie pas mal le fonctionnement du truc ^^

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • tporcaro
        tporcaro last edited by

        Hello Screech,   Merci pour ton retour aussi rapide ! Je vais du coup, peut etre tout repasser dans le repertoire initial. Par fleme de faire X scrap pour X console 🙂 Je n'oublie pas de te faire un retour début de semaine prochaine 🙂

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          Nouvelle version : v 1.2.0.0 !! On serait chez Apple, je pourrais vous dire "Ceci est une révolution !!!" Universal XML Scraper gere maintenant le Mix d'image !!! Tout est configurable (via le fichier de config pour le moment 😉 ) et voila ce que vous pouvez obtenir :   Ce ne sont que des exemples 😉 et les possibilité sont infinies 😉 Pour l'utiliser, il suffit de choisir le profil "ScreenScraper (MIX)-Recalbox v4" Et vous obtiendrez, par défaut, quelques choses du genre de la première image. Si des medias sont manquant sur Screenscraper, il fera le mix avec les éléments qu'il possède. (juste le screenshot, ou le screen+le boitier, ou rien du tout, ....) Je prévois d'autres améliorations à terme, comme l'ajout d'image "fixe" pour y ajouter les images "dynamiques" provenant de Screenscraper ou bien encore l'ajout possible des images provenant du système (wheels de la console, image 3D de la console, image des manettes, etc...) Je vais m'atteler aujourd'hui à corriger le WIKI de UXMLS pour vous expliquer comment faire ce que vous souhaitez 😉 Mais dans tous les cas, je suis à votre dispo si vous avez des demandes particulieres 😉 ( @Acris j'en ai aussi profité pour corriger le petit bug du message d'erreur, n'hesite pas à me tenir au courant 😉 )

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • tporcaro
            tporcaro last edited by

            Screech, Je pensais à mon problème de ce matin : si je réalise cette procédure : - remettre tout dans le repertoire d'origine - Lancer ton scrapper - Redeplacer mes jeux dans leur repertoire (favoris et autre) L'affichage des images fonctionnera t'il toujours sous recalbox ?   Encore désolé de toutes mes questions 😉

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              Malheureusement oui et non... Tes images fonctionneront toujours (si tu ne les bouge pas) par contre les roms ne fonctionneront plus... Exemple si tu deplace\RECALBOX\User data\roms\nes\mario.zip dans \RECALBOX\User data\roms\nes\favoris\mario.zip Il faut aussi que tu changes dans le fichier XML l'emplacement ou il va le chercher : ./mario.zip devra être changé en ./favoris/mario.zip Ce n'est donc peut être pas le plus simple... (Après, si tu tri par genre ça peut être relou, mais si c'est juste les favoris pourquoi n'utilise tu pas le système de favoris intégré à la Recalbox ?)

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • tporcaro
                tporcaro last edited by

                Oui, je crois bien que c'est la meilleure solution 🙂 Je ne t'embete plus avec mes questions! 🙂

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  Pas de soucis 😉 hésite pas à demander 😉 je suis la pour ça ^^

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    pour info, je continue mes tests 😉 Ça marche pour tous les systèmes 😉 (en fonction des medias présent sur Screenscraper) Exemple : Master system : Game Gear : CPS2 : Nes : Bon, c'est du fait à l'arrache 😉 J'ai ajouté des images "fixe" (la télé, la gamegear) que j'ai détouré vite fait/mal fait ^^ Mais ça donne une idée des possibilités 😉 (Je precise, qu'il n'y a aucune retouche sur les images ci dessus, elles sont directement généré par Universal XML Scraper ^^. J'ai juste ajouté des modeles avec un fond transparent, genre la télé ou la gamegear)

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • supernature2k
                      supernature2k last edited by

                      Alors là @screech, tu vas trop loin!!!! ça déchire la race de sa maman!!!!!!!!!!! C'est exactement ce qu'il me fallait, ça ira super bien dans mon thèmes 🙂 Je suis en train de faire un romset megadrive, pour l'instant ça claque. Perso les bezels j'accroche pas du tout mais peut être que ça plaira à certain. Moi ce qui me botterai c'est comme le 1er (réglage par défaut du dernier release) mais avec title comme sur les suivants en bas à droite. Tu me dit ce que je dois mettre dans le ini? 🙂 Merci pour le taf que tu fais, le soft était déjà vachement utile au départ mais depuis les améliorations au fil des semaines, il est maintenant indispensable 😉

                      Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                      Upvote messages if it has been useful ;)

                      1 Reply Last reply Reply Quote 0
                      • supernature2k
                        supernature2k last edited by

                        Bon oublie ma question, j'ai trouvé tout seul 😉 J'ai mis des media_wheels au lieu de media_wheelssteel résultat: Awesome!!!!!!!!!!!!!!!!!!

                        Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                        Upvote messages if it has been useful ;)

                        1 Reply Last reply Reply Quote 1
                        • screech
                          screech last edited by

                          Génial !!! Si en plus tu as trouvé tout seul comment changé 😉 c'est que mon truc est plutôt bien fait ^^ J'ajoute encore quelques bidouilles ^^ et je post une nouvelle version pour mettre des images fixes 😉

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            @Supernature2k C'est bon, tu peux rescraper ton set megadrive 😉 ça devrait mieux marcher 😉 Marblemad à corrigé 😉

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • supernature2k
                              supernature2k last edited by

                              Hi @screech! Effectivement maintenant je suis à 100% sur presque tous les systèmes!!!! Excellent. Merci @marblemad! Bon par contre j'ai du refaire tous les systèmes (en mode ajout) 1 par 1. J'ai une erreur sur la config générale. Il me dit aucun zip trouvé dès le début et s'arrête. Maintenant la dernière chose qui me reste, ce sont les roms non zippés. Surtout les PSX et Sega CD (mais aussi un romset N64 et Atari ST). Tu as une idée pour ça? Je vais poster mon thème aujourd'hui, il est quasiment fini. Avec tes scrappes, ça donne super bien!!! (enfin imo)

                              Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                              Upvote messages if it has been useful ;)

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                Le message il te fait ça quand tu demandes de scraper tous les systèmes ? Si oui il faudra que je check 😉 Sinon, j'ai ajouté la possibilité de déformer les images, de mettre des images fixes (venant du disque dur et pas du scrape) et je suis en train de mettre au point un système de profile pour les mix 😉 (comme ça on pourras choisir directement dans le soft le style de mix 😉 ) Bon c'est loin d’être finit, mais voila quelques essais 😉     En plus cela donne des images quand même, même s'il ne trouve rien ^^ (La nature a horreur du vide ^^ autant le remplir ^^) Exemple, un jeux nes pas trouvé :   Je vous dirais quand je mettrais la dernière version 😉

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • acris
                                  acris last edited by

                                  tu t'éclates bien screech, je confirme correction du bug ok @screech j ai toujours des manques dans mes scraps le synopsis n est pas pris en compte si le fr n existe pas. exemple avec mame

                                  <game id="40762" source="ScreenScraper">
                                  <path>./cterrani.zip</path>
                                  <name>TERRANEAN</name>
                                  <desc/>
                                  <image>./downloaded_images/cterrani-image.jpg</image>
                                  <rating>0</rating>
                                  <releasedate/>
                                  <developer>DATA EAST</developer>
                                  <publisher>DATA EAST CORPORATION</publisher>
                                  <genre>TIR</genre>
                                  <players>1-2 PLAYERS</players>
                                  <crc32>987FD452</crc32>
                                  <md5>9B79287565A6C6B8B670D45C78F7772A</md5>
                                  <sha1>40A3E5114CD44FE69712980DA0023032F6D17EBC</sha1>
                                  </game>
                                  

                                  http://www.screenscraper.fr/gameinfos.php?gameid=40762

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    Ouaip je m'éclate et j'ai trouvé le bug en plus ^^ Corriger dans la prochaine version que je mettrais en ligne dès que possible (la c'est trop instable avec les modifs que j'ai faites ^^)

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • supernature2k
                                      supernature2k last edited by

                                      Là c'est too much pour moi mais bravo pour le boulot! Effectivement un profil pour le mix serait génial, pourrais tu y inclure la position des éléments? Y a t'il moyen de récup juste le marquee pour les jeux arcades? (pour mettre en lieu et place des boites de jeux)

                                      Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                      Upvote messages if it has been useful ;)

                                      1 Reply Last reply Reply Quote 0
                                      • tporcaro
                                        tporcaro last edited by

                                        Hello Screech, Bon, ce weekend j'ai essayer la méthode que tu m'as donné au post suivant : http://blog.recalbox.com/forums/topic/soft-universal-xml-scraper-scrappez-vos-roms-en-fr/page/18/#post-32191 En editant le fichier UXS-config.ini comme indiqué dans ton post. Mais quand je lance ton scrapper, j'obtiens un msg d'erreur qui me dit "Le chemin des ROMs pour la configuration automatique n'est pas accessible". Pourtant, dans mon explorateur windows .. j'accède bien a mon repertoire inscrit dans $PathRom et compagnie 😞

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          Hello @tporcaro Peux tu mettre en PJ ton fichier config et me donner le chemin d'accès que tu as dans windows pour accéder à ton répertoire de rom que je check 😉 (si le message te gène, tu peux décocher "conf. Auto." dans la fenêtre de configuration 😉 Il ne fera plus le test et du coup ne t’embêtera plus... ) @Supernature2k oui c'est tout à fait possible de mettre le marquee 😉 et pour info, la position est déjà présente 😉 Je n'ai pas encore fait le tuto, mais en gros, les lignes sont à comprendre comme ça : 'marqueeTEMP|path:image|medias/media_wheels/media_wheel_fr|path:image|258|65|63|36|246|32|68|90' (chaque élément est séparé par un pipe "|" ) 1- marqueeTEMP : Nom de l'élément, peux important, il doit juste etre différent pour chaque élément 2- Path:image : Peu important pour le moment Dans la dernière version (non encore publié) tu peux avoir "fixe" 3- medias/media_wheels/media_wheel_fr : Type d'élément à récupérer Si en 2 tu as "fixe" tu peux mettre un chemin complet genre "C:\mes images\borne.png" 4- path:image : Peu important pour le moment 5- 258|65|63|36|246|32|68|90 : c'est la que ça se corse 😉

                                          258 dimension en X 65 dimension en Y 63 Position en X du coin en haut à gauche 36 Position en Y du coin en haut à gauche 246 Position en X du coin en haut à droite 32 Position en Y du coin en haut à droite 63 Position en X du coin en bas à gauche 36 Position en Y du coin en bas à gauche Cela permet de faire des déformations sur la dernière version (non encore publié mais ça vient ;).

                                          Mais tu peux aussi avoir en : 5- 100|150|CENTER|CENTER Du coup c'est plus simple sans les deformations 😉

                                          100 dimension en X 150 dimension en Y CENTER = centré en X CENTER = centré en Y Pour le premier tu peux avoir CENTER, LEFT, ou RIGHT (respectivement : centré, à gauche, à droite) et pour le deuxième tu peux avoir CENTER, UP, ou DOWN (respectivement : centré, en haut, en bas)

                                          Enfin tu peux aussi avoir en : 5- 100|150|10|20

                                          100 dimension en X 150 dimension en Y 10 Position en X du coin en haut à gauche 20 Position en Y du coin en haut à gauche Pas de déformation ou de position automatique, c'est positionné au pixel 😉

                                          Enfin, il faut savoir que chaque image se comporte comme un layer et se superpose dans l'ordre du fichier config. Du coup, avec le PNG qui gere la transparence, tu peux mettre 2 images l'une sur l'autre ou les faire ce chevaucher 😉 Dans l'exemple de la borne d'arcade, En premier image, je mets un fond style "neige sur un vieux cathodique" à la position du screenshot En deuxième un marquee fixe avec le logo Recalbox en troisième, le vrai screenshot qui vient par dessus le fond 'neige' (du coup, s'il y a un screenshot, on ne vois pas la neige, s'il n'y en a pas elle y est) en 4eme, le vrai marquee (qui passe par dessus le marquee avec le logo recalbox) en 4eme bis, le vrai wheel s'il n'y a pas de marquee trouvé (qui passe par dessus le marquee avec le logo recalbox aussi du coup) Et enfin en 5, l'image de la borne.... Voila c'est un peu complexe, et c'est un tuto vite fait, mais je ferais quelques chose de mieux dès que j'aurais figé le truc dans la dernière version 😉

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • tporcaro
                                            tporcaro last edited by

                                            Le msg d'erreur ne m'embete pas plus que ça, mais c'est que du coup le menu "edition > scrapper" reste grisé et donc inutilisable 😉   Je t'envoi les infos que tu demandes dès que possible 🙂

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            93
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com