Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    424278
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by screech

      Universal XML Scraper

      Logiciel de Scrape basé sur la base de données Screenscraper.
      Vous avez toujours rêvé d'avoir vos descriptifs en français avec de superbe média, c'est maintenant possible 😉
      Ce logiciel fonctionne avec un système de profil pour la génération du fichier XML. Il est donc tout à fait possible de se créer son propre profil avec la récupération de ses propres médias 😉
      Aujourd'hui les profil existant sont : Recalbox V4, Recalbox V3, Emulationstation et Hyperspin/AttrackMode (en version beta les 2 derniers, ne possédant pas ces systèmes, je n'ai jamais pu les tester ^^)
      Scrape software based on the Screenscraper database .
      It can scrape in French, English, German, Spanish and Portuguese (very few data in these 3 last language ^^ but you can participate to the database) with HD Media
      This software works with a profile system to generate the XML file. It is therefore quite possible to create your own profile with the download of the media of your choice.
      Today existing profil are: Recalbox V4 V3 Recalbox , Emulationstation ( and Hyperspin / AttrackMode in beta)

      Interface

      Ce logiciel se veut simple mais puissant et très configurable. Je ne vais pas rentrer dans le détail de toutes les options, seulement 2 :
      Easy to use but with a lots of possible configuration, I only present 2 of the options you can find :

      l'AutoConfig :
      Vous lui indiquez le répertoire contenant tous les répertoires de vos différents systèmes (directement sur le PI via le reseau, sur un NAS, une clef USB,...) et il s’occupe tout seul de configurer les chemins et substitution pour le fichier XML. Vous pourrez scraper 1 système sélectionné ou tous d'un coup
      Simply enter the path where all your system are (Directly on the PI with the network, on a NAS or USB support) and it auto configure all the path for the future XML. You just have to select the system you want (or scrape all of them with 1 clic)

      Le mode MIX :
      Vous ne voulez pas vous embêtez à créer des thèmes avec de multiple médias, 1 seule image vous suffit, mais un screenshot tout seul c'est un peu triste. UXS (Universal XML Scraper pour les intimes 😉 ) vous permet de faire un mix de média pendant le scrape pour ne générer qu'une seule image.
      UXS (short name for Universal XML Scraper) can make 1 picture composition with many other.

      NesArcadeStandard 3D Box

      Le mode MIX fonctionne aussi à base de thèmes/profils configurable facilement et le Wiki vous explique comment créer le votre facilement.
      The MIX mode work with themes/profils you can make, look at the Wiki (only in french for now sorry)

      --> LAST VERSION

      [Tuto] Comment utiliser Universal XML Scraper pour la RECALBOX

      WARNING

      There is a big modification on Screenscraper.
      Now you can have data in french, english, but also german, spanish, and portuguese !!!

      So there is a modification of Universal XML Scraper to take that in charge 😉

      Please Use the very last version (after 1.4.0.0)
      (If not only 'genre' doesn't work ^^ But I don't know if there are no side effect 😛 )

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • terenciode
        terenciode last edited by

        <p style="text-align: left;">Salut. Dit moi quelle est la procedure pour mac ?</p> <p style="text-align: left;"></p> <p style="text-align: left;">merci de ton travail c'est la classe</p>

        Raspberry pi 2 avec wifi Bluetooth et tout :)

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          Arg. Desolé. .. uniquement sous Windows 😞

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • dylan-tretout
            dylan-tretout last edited by

            est-ce normal que mes jeux mame ont été scrapper, mais aucune image n'a été télécharger ?

            1 Reply Last reply Reply Quote 0
            • androsyn
              androsyn last edited by

              Salut, sur un répertoire PSX qui contiens des .bin il me balance no files found, et sur un répertoire snes qui contiens 1700 roms il ne scrappe rien du tous 😕

              1 Reply Last reply Reply Quote 0
              • yassa57
                yassa57 last edited by

                Salut Androsyn j ai rencontrer aussi quelque probleme et screech m as beaucoup aider un grand merci a lui.pour sa patience car avec moi il en' a besoin :)) Tes roms super nes sont elles en zip? Car il.faut que les roms soit en format zip   Il faut aussi que tu prennes les packs no intro car screenscraper cherche en fonction du nom de ta rom Voila essaye ca j espere ne pas t avoir dit de betises

                1 Reply Last reply Reply Quote 0
                • voljega
                  voljega Banned last edited by

                  Yo excellent !!   Est ce que ça gère les gamelist déjà existants ou est ce que ça les ecrase ?   Est ce qu'il s'occupe tout seul de démarrer / arrêter Emulation Station ?

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by screech

                    Alors, petits suppléments d'information.

                    Le fonctionnement de Screenzone (la base de donnée FR) fait que cela fonctionne via des Hash (en crc32) Très pratique dans un sens, (pas d'erreur possible d'association Rom/jeu) mais aussi un peu contraignant.
                    En gros, il faut obligatoirement que vos roms soient zippées (ou 7zippées) et qu'elles proviennent d'un set connu (No-Intro, FullSet, Tosec, retrobution,...).
                    A priori, (hormis pour la N64) le fait que les roms soient zippées ne pose aucun problème à Recalbox. (Attention aussi, si vous rezipez une rom dézipé, il est possible que cela change le Hash en fonction des paramètres de compression.)

                    C'est donc pour cela qu'il n'a pas trouvé les .bin de la psx des .snes pour la snes 😉

                    [UPDATE] : Ce n'est plus vrai, maintenant UXS (le petit nom d'Universal XML Scraper) peut scraper via le nom de fichier (Attention, il faut cependant que le nom du fichier de la rom soit référencé). Autre bonus, peu importe l'extension (.zip, .7z, .n64, .bin, etc...) cela fonctionnera 😉

                    Enfin, j'ai fournit des "profils" prè-configuré pour la V4 et la V3 avec, par exemple, des screenshots pour les images. Mais il est tout à fait possible d'éditer les profils pour mettre ce que vous voulez dedans.

                    Regardez le WIKI

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • tuxfanou
                      tuxfanou last edited by

                      Logiciel très sympa qui peut bien aider, Bravo pour travail accompli Je voudrais bien tester, mais .... la flèche reste rouge, impossible de lancer l'opération. Faut-il un prérequis particulier (.net ou autre ?)

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by screech

                        Si la flèche reste rouge, c'est qu'il manque quelque chose.

                        Les tests sont :

                        • Le chemin des roms existe
                        • Le fichier .xml existe (mais normalement il le créé s'il n'existe pas, il faut juste que le chemin soit correct) - Le chemin des images existe
                        • Le profil est choisi Vérifie ces 4 éléments (tu peux t'inspirer de la copie d'écran de la fenêtre de config pour configurer le soft) normalement la flèche devrait passer au vert 😉

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • tuxfanou
                          tuxfanou last edited by

                          C'est parfait, après avoir créé le dossier "images" tout est passé au vert. Merci beaucoup 🙂 Calcul des hash en cours, mais avec un set complet no-intro y'a du boulot ^^

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            Tu pourras me faire un screenshot ou un retour sur les stats ? histoire de voir la vitesse du truc ^^

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • androsyn
                              androsyn last edited by

                              ok niquel avec les zip sa fonctionne par contre oui le fait de refaire les zip change le hash du coup sa prend pas mes jeux psx merci 🙂

                              1 Reply Last reply Reply Quote 0
                              • geeknroll
                                geeknroll last edited by

                                Salut les nostalgiques. Bon le soft n'a pas marché pour moi et mes 497 roms gamegear. Après 1h30 de scraping il en a trouvé environ 450. Le souci c'est que de retour sur récalbox, j'actualise la liste des jeux et je vais voir dans gamegear... et là, rien aucun scrape 😞 Pourtant le soft a mouliné un bon moment. Mais on doit pas être loin ... Screech une idée ?

                                1 Reply Last reply Reply Quote 0
                                • geeknroll
                                  geeknroll last edited by

                                  Bon j'ai trouvé ! En fait je ne savais pas qu'il fallait sortir de l'interface de EmulationStation (le fameux kill évoqué plus haut). Après quelques recherches j'ai trouvé comment faire donc je poste la solution si ça peux aider mon prochain... 1- Dans Recalbox, faites F4. 2- Lorsque le logo de récalbox disparaît et réapparaît  en petit en bas de l'écran, faites ALT + F2 3- RECALBOX login : tapez root 4-Password : recalboxroot ensuite vous pouvez utilisez le soft tranquilement. j'ai testé quelques roms et ça fonctionne. Merci Screech bon boulot. C'est drôlement plus efficace. J'aurais presque envie de te faire des bisous !!! Malgré la tête que tu tires sur ton avatar !! MDR

                                  1 Reply Last reply Reply Quote 0
                                  • geeknroll
                                    geeknroll last edited by

                                    Il y a surement une solution de faire le kill en SSH pour ceux qui n'ont pas de mini clavier. Mais je n'ai pas éété cherché plus loin dsl.

                                    1 Reply Last reply Reply Quote 0
                                    • renaiku
                                      renaiku last edited by

                                      Screech va nous rajouter la fonction dans le logiciel ... plus qu'a patienter 😄

                                      liek if u cri evrytiem

                                      1 Reply Last reply Reply Quote 0
                                      • yassa57
                                        yassa57 last edited by

                                        Salut si vous n'etes pas trop patient vous pouvez utiliser esxml editor il vous permet de faire un killall directement depuis le pc en ssh et apres vous pouvez rebooter depuis le pc donc plus facile a gerer

                                        1 Reply Last reply Reply Quote 0
                                        • kvtt
                                          kvtt last edited by

                                          Salut, J'aime bien ce logiciel bravo !!! Par contre je scrappe le Set (no-intro) master system 533 roms depuis hier soir 16h30 et j'en suis à la 359 roms, après 16h de scrappe !!!! Pourtant ce n'est pas ma connexion internet qui rame. et si je peux me permettre : est-il possible que le logiciel ne rescrappe pas toutes les images si elle existent déja (Mise à jour), ce qui serait pratique en cas de mise à jour ou de plantage du scrappe. Merci encore pour ce logiciel.

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by screech

                                            Hello, bon, pour info, ça reste une beta 😉 donc tout n'est pas encore au top ^^ Sinon,

                                            • je vais ajouter un check pour ne pas re-telecharger les images si elles existe.
                                            • je vais ajouter un menu SSH comme sur mon ancien soft pour pouvoir killer emulationstation facilement 😉
                                            • et rajouter des traces pour voir pourquoi ça mets autant de temps chez certains.

                                            (pour info, les tests que j'ai fait : environ 500 Roms gamegear, directement sur le réseau, un poil plus d'1 minute... Du coup, 16h de scrap pour 350 roms ??? Je ne sais pas pourquoi, c'est pas normal :S) Je vous tiens au courant dans la journée 😉

                                            (Pour info, je bosse aussi en parallèle sur un nettoyeur de Rom 😉 pour pouvoir virer d'un set toutes les roms non désirées genre : BETA, Proto, Full Jap, etc... mais ça aussi c'est loin d’être finit... je fait trop de trucs en même temps... C'est mal :p)

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            78
                                            Online

                                            98.7k
                                            Users

                                            28.1k
                                            Topics

                                            187.0k
                                            Posts

                                            Copyright © 2021 recalbox.com