Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    482275
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      @supernature2k C'est pas très propre et un peu fait à l'arrache 😉 mais il y a maintenant un menu "Avancé" dans la fenetre de config 😉

      V1.3.0.15

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 2
      • supernature2k
        supernature2k last edited by

        Excellent 🙂

        Pi powered NES | Gameboy HD | RecalStation | RecalDrive
        Upvote messages if it has been useful ;)

        1 Reply Last reply Reply Quote 0
        • kevinnash
          kevinnash last edited by

          Bonsoir 🙂

          J'utilise des sous répertoires par genre avec mame.

          Si j'enlève quelques roms d'un répertoire, comment faire pour les enlever des roms scrapées ?

          1 Reply Last reply Reply Quote 0
          • voljega
            voljega Banned last edited by

            Pas besoin de les enlever ils n'apparaitront pas dans l'interface de Emulation Station si le fichier n'existe pas

            1 Reply Last reply Reply Quote 0
            • kevinnash
              kevinnash last edited by

              OK mais dans ce cas l'image va aussi rester inutilement et le xml chargé contiendra des données inutiles 😉

              Cela serait bien si le soft pouvait faire une mise à jour de répertoire, en cas de rom supprimée l'enlever du xml et supprimer l'image correspondante.

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                Il peut 😉 supprime ton répertoire d'image et régénère ton fichier XML en refaisant un scrape 😛

                Non sérieusement 😉 c'est un peu complexe à mettre en place 😉 En fait, la solution du dessus est pas mal ^^

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • kevinnash
                  kevinnash last edited by

                  Merci screech et bravo pour ce sublime soft 🙂

                  Le fait que j'ai des sous répertoires par catégories n'est pas gênant ? Car le xml parent regroupe les roms de tous ces répertoires.

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Donc pour info, Pour le moment, UXS ne sait pas gérer les sous répertoires (La récursivité).
                    Il te faudra scraper tes répertoires 1 par un et fusionner ton fichier XML après (sans oublier de faire attention aux différents path :S)

                    Promis c'est une option que je vais essayer de mettre en place 😉

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • kevinnash
                      kevinnash last edited by

                      Sauf erreur de ma part, en choisissant le même xml racine pour chaque sous-répertoire, le soft m'a bien tout fusionné dans celui-ci, je te valide cela demain mais j'ai bien vu ce xml grossir après chaque scrape de répertoire, j'ai bien pris attention de régler les pats pour les zip des roms et les folders d'images.

                      Question subsidiaire pour les roms non scrapées, le fichier missing.txt est vide, même quand i len manque, puis-je retrouver les manquantes autre part ?

                      1 Reply Last reply Reply Quote 1
                      • screech
                        screech last edited by

                        Wow !! You are a genius (et moi aussi un peu ^^) Tu as trouvé comment faire pour gérer des sous répertoires alors que je n'y avais même pas pensé !!!

                        Effectivement, si tu mets le fichier XML à la racine et que tu scrapes chaque sous répertoire indépendamment (en faisant gaffe aux Path et en mettant "Ajout de rom") Tu peux scraper des sous répertoires !!!

                        Il est trop bien ce logiciel, il y a des fonctions cachés auxquelles l'auteur n'avait même pas pensé ^^

                        Par contre, pour les missing, c'est bizarre qu'ils soient vide. C'est possible qu'il les écrase après chaque scrape (vu qu'il les mets dans le même rep que le gamelist.xml). Du coup, s'il n'y a pas de manquant dans le dernier rep scrapé, le dernier fichier missing est vide 😉

                        Faudrait que je vois pour que le fichier missing soit mis dans le répertoire des roms et pas dans le répertoire du gamelist.xml du coup 😉

                        En tout cas, merci pour l'astuce ^^

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • kevinnash
                          kevinnash last edited by

                          he he je suis content d'avoir pu t'aider à trouver une fonction cachée 🙂

                          Le seul souci ( je pense ) est que si j'enlève des roms d'un répertoire récursif et les rescrape, je pense que cela va rajouter le nouveau scrape au xml global sans enlever le scrape précédent et donc faire des doublons + laisser les roms enlevées.

                          Pour les missings je les trouve dans les logs donc ça m'aide bien 😉

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by screech

                            A la limite, tu peux laisser les infos dans le fichier XML (elles ne prennent pas de place, et ne seront pas affichées si la rom correspondante n'existe plus).

                            Et quitte à rescraper le sous répertoire en question, si tu as mis les images dans chaque sous répertoire, tu le vide 😉 il ne retelechargera que les images des roms rescrapées.

                            Sinon, pour les missing, s'il y en a peu, tu peux "tenter" d'utiliser le scraper intégré à Recalbox (avec les incertitudes que cela comprend ^^) ou l'outils de SSelph avec les bonnes options pour qu'il ne fasse que des ajouts (mais comme lui aussi se base sur les Hash des fichiers, peu de chance qu'il trouve tes roms "exotiques" ^^).

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 1
                            • paradadf
                              paradadf Staff last edited by

                              Hi @screech!
                              I just noticed there are some logos that aren't being retrieved from the source because they have "Région : autre" (example logo), instead of usa, eur, jp. I don't know if this only happens with some new logos and it is only a temporary name for the region. But if it isn't, the it would be a good idea to also include "autre" in the sources.

                              If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                              1 Reply Last reply Reply Quote 1
                              • screech
                                screech last edited by screech

                                That's right, "other"/"autre" is a new feature of Screenscraper 😉 I'll add it in profil as soon as possible 😉

                                Thank you for the info 😉

                                EDIT : Just checked, it's a problem from screenscraper 😉 I just informed MarbleMad about it 😉

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  Thank you very Much @paradadf for the Spanish translation ^^

                                  It's in now : v1.3.0.16

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • sassa
                                    sassa last edited by

                                    Un grand merci pour ce logiciel qui va m'aider à scrappez mes répertoires

                                    Au début il me trouvait aucunes roms mais après avoir pris les romset no intro c'était bon

                                    Par contre malgré des recherches je ne sais pas comment scrapper les ios psx, j'ai bien compris que la base était mince mais jai vu par exemple crash bandicoot sur le site et pourtant il ne le trouve pas. Il est pourtant renommé tout simplement crash bandicoot

                                    Y'a t-il une autre manière d'y arriver ?

                                    supernature2k 1 Reply Last reply Reply Quote 0
                                    • naitreia
                                      naitreia last edited by

                                      Hi,

                                      i have a problem with the Universal Scaper.
                                      I have nothing changed on the recalbox image everything standard.
                                      I use autoconfiguration and everything seems to be fine (can shutdown, kill, reboot).

                                      If i select one explicit system and scrape it it works.

                                      When i try to scrape now all systems i get the following error message:
                                      ROM-Path not valid
                                      Path to XML-File not valid
                                      XML-File not valid

                                      Any idea?

                                      1 Reply Last reply Reply Quote 0
                                      • supernature2k
                                        supernature2k @sassa last edited by

                                        @sassa

                                        Il faut attendre que la base screenscraper.fr se remplisse.

                                        Pour PSX par exemple, il y a de nombreux jeux pour lesquels aucune rom n'est associé.

                                        Pour crash bandicoot, essaie de renommer ta rom comme suit: Crash Bandicoot (E) (No EDC)

                                        Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                        Upvote messages if it has been useful ;)

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          @sassa Pour les jeux PSX, le soft ne trouvera pas (ou très peu) de fichier via le CRC. Il va donc passer par la recherche du nom de fichier.
                                          Pour être trouvé il doit être exactement identique (excepté l'extension).

                                          Exemple, pour Crash Bandicoot, le seul fichier existant de référencé (pour le moment) est : Crash Bandicoot (E) (No EDC).bin avec un CRC = FD11EB1E. Il faut donc que ton fichier s'appel Crash Bandicoot (E) (No EDC) (plus une extension n'importe laquelle)

                                          @naitreia Try to select one dir in the autoconfig before scrape all. I'll take a look in the source why it do an error message 😉

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by screech

                                            Asking for translation.

                                            MarbleMad (Admin from Screenscraper) work on a translation in several language for the 'genre' in Screenscraper database (so in Universal XML Scraper too ^^)

                                            Can someone do a translation in German, Portuguese and Spanish ? ( @PumpKHeaD , @Nachtgarm , @paradadf )

                                            So you can have these in your scrape.

                                            This is the list in French and English ;

                                            Action Action
                                            Casse briques Breakout games
                                            Escalade Climbing
                                            Labyrinthe Labyrinth
                                            Adulte Adult
                                            Aventure Adventure
                                            Beat'em All Beat'em Up
                                            Casino Casino
                                            Cartes Cards
                                            Course Race
                                            Loterie Lottery
                                            Machine a sous Slot machine
                                            Roulette Roulette
                                            Casual Game Casual Game
                                            Chasse / Peche Hunting / Fishing
                                            Peche Fishing
                                            Combat Fight
                                            2D 2D
                                            2.5D 2.5D
                                            3D 3D
                                            Versus Versus
                                            Versus Co-op Versus Co-op
                                            Vertical Vertical
                                            Compilation Compilation
                                            Course / Conduite Race / Driving
                                            1ere Personne 1st person
                                            Avion Plane
                                            Bateau Boat
                                            Course Race
                                            Course de Moto / 1er pers. Motorcycle Race / 1st Pers.
                                            Course de Moto / 3eme pers. Motorcycle Race / 3rd Pers.
                                            Course vue 1ere pers. Race 1st Pers. view
                                            Course vue 3eme pers. Race 3rd Pers. view
                                            Deltaplane Hang-glider
                                            Moto Motorcycle
                                            Piste de course Racetrack
                                            Demo Demo
                                            Divers Various
                                            Electro-mecanique Electro- Mechanical
                                            Print Club Print Club
                                            System System
                                            Utilitaires Utilities
                                            Flipper Pinball
                                            Jeu de cartes Playing cards
                                            Jeu de rôles Role playing games
                                            Jeu de societe / plateau Board game
                                            Jeu de societe asiatique Asiatic board game
                                            Go Go
                                            Hanafuda Hanafuda
                                            Mahjong Mahjong
                                            Othello Othello
                                            Renju Renju
                                            Shougi Shougi
                                            Ludo-Educatif Educational
                                            Musique / Dance Music / Dance
                                            Rhythme Rhythm
                                            N/A N/A
                                            Plateforme Plateform
                                            Fighter Scrolling Fighter Scrolling
                                            Run Jump Run Jump
                                            Run Jump Scrolling Run Jump Scrolling
                                            Shooter Scrolling Shooter Scrolling
                                            Puzzle-Game Puzzle-Game
                                            Egaler Equalize
                                            Glisser Glide
                                            Lancer Throw
                                            Tomber Fall
                                            Quiz Quiz
                                            English English
                                            German German
                                            Italian Italian
                                            Japanese Japanese
                                            Korean Korean
                                            Music English Music English
                                            Music Japanese Music Japanese
                                            Quiz Français Quiz Français
                                            Spanish Spanish
                                            Shoot'em Up Shoot'em Up
                                            Shoot'em up Diagonal Shoot'em up Diagonal
                                            Shoot'em up Horizontal Shoot'em up Horizontal
                                            Shoot'em up Vertical Shoot'em up Vertical
                                            Simulation Simulation
                                            Sport Sport
                                            Baseball Baseball
                                            Basketball Basketball
                                            Billard Pool
                                            Bowling Bowling
                                            Boxe Boxing
                                            Bras de fer Arm wrestling
                                            Course a pied Running trails
                                            Dodgeball Dodgeball
                                            Flechette Dart
                                            Football Soccer
                                            Football Américain Football
                                            Golf Golf
                                            Handball Handball
                                            Hockey Hockey
                                            Jeu de palet Shuffleboard
                                            Lutte wrestling
                                            Natation Swimming
                                            Parachutisme Skydiving
                                            Ping pong Table tennis
                                            Rugby
                                            Skateboard Skateboard
                                            Ski Ski
                                            Sport de combat Combat sport
                                            Sumo Sumo
                                            Tennis Tennis
                                            Volleyball Volleyball
                                            Sport avec animaux Sports with Animals
                                            Course de chevaux Horses race
                                            Stratégie Strategy
                                            Tir Shooter
                                            A pied On Football
                                            Avion Plane
                                            Avion / 1ere personne Plane / 1st person
                                            Avion / 3eme personne Plane / 3rd person
                                            Horizontal Horizontal
                                            Missile Command Like Missile Command Like
                                            Run and Gun Run and Gun
                                            Space Invader Like Space Invader Like
                                            Tir a la 1ere personne 1st person shooter
                                            Tir a la 3eme personne 3rd person shooter
                                            Véhicule / 1ere personne Vehicle / 1st person
                                            Véhicule / 3eme personne Vehicle / 3rd person
                                            Véhicule / Diagonal Vehicle / Diagonal
                                            Tir avec accessoire Shooting with accessory

                                            Thank you very Much.

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            Nachtgarm paradadf 2 Replies Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            84
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com