Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    480932
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      Je ne peux répondre que pour la gamegear (parce que c'est moi qui les ai faite pour la majeur partie 😉 ) J'ai respecté le gabarit fournie, mais il est possible que le générateur n'utilise pas correctement le gabarit. J'en parlerais à Marblemad à son retour de NY 😉

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • reaver-seven
        reaver-seven last edited by

        <del>Salut, alors tout fonctionne presque a merveille pour moi, je me tape juste une ERROR5 lors de l'écriture du gamelist.xml de la neo geo et de la nes.</del> <del>La nes est pourtant issue du même romset no intro (archive romset  2016 no intro fixed)</del> <del>J'ai essayé de trifouiller, et même de le créer moi même, ça veut pô. Une petite idée?</del> RESOLU, il manquait un / dans le chemin, du coup il trouvait pas les images. Pour les roms nes, j'ai re-DL un romset no intro et le problème a été résolu, pour les roms neo geo, ce n'est pas résolu mais je m'en fiche, il n'y a que 12 jeux, je vais les ajouter manuellement.   Pour la PSX, il n'y a pas une astuce plus pratique que de le faire manuellement? J'en ai pas beaucoup, mais je préfère demander 🙂

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          Hello, j'ai fait une petite correction pour l'erreur 5 : En fait, il trouvait bien des fichiers zip, mais aucune rom trouvée sur screenscraper, et il aimait pas ça ^^ pour les jeux PSX, malheureusement pas d'astuce 😞 hormis trouver un set ou les roms sont zipées, scrapper, les dezipper, puis modifier le fichier xml avec un rechercher/remplacer ".zip" par ."bin" (ou ".cue" en fonction) c'est tout ce que j'ai a te proposer. Pour les neogeo, même la dernière version ne te trouve rien ?

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • clad-strife
            clad-strife last edited by

            Bonjour, Tout d'abord merci pour le boulot accompli! C'est assez monstrueux. J'ai cependant quelques questions : J'ai réussi à scrapper quelques sets, et il trouve des images de jeux au lieu des jaquettes, je ne sais pas si j'ai loupé un truc lors de la configuration? Bon ce n'est pas encore trop dérangent mais on sait jamais.   Sinon j'ai un autre soucis, hier j'ai scrapper plusieurs sets de roms (remis en .zip et kill emultionstation au préalable), le scrap se déroule bien, il trouve quasiment toutes les roms, les images sont bien dans le fichier download et le fichier gamelist est bien édité. Mais au redémarrage du raspberi il n'affiche rien, les listes sont bien mise de façon à ce que les images doivent apparaître, mais pas d'image, et ça me le fait pour la Master System, Game Gear, Nec PC Engine et FBA Liberto. Du coup je ne comprends car j'ai réussi à scrapper deux sets auparavant sans soucis.   Ensuite autres questions, il arrivent parfois que le scrap mette des screens des jeux en double ou en triple et quand je consulte mon raspberi il affiche plusieurs jeux alors qu'il n'y en à qu'un dans les fichiers (je ne sais pas si j'ai bien réussi à me faire comprendre), en gros il crée des doubles alors qu'a la base il n'y en à pas (les set on été trié par mes soins).   Et pour les Set FBA et Mame (en set no intro) quel console je doit choisir?   Merci d'avance pour votre aide.

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              Hello @Clad-strafe Alors, si tu utilise la config par défaut, il dl en priorité les Screenshot, puis s'il n'en trouve pas les boîtiers 2D. Si tu veux modifier cela tu peux modifier le fichier config.ini -> voir le Wiki Concernant ton problème d'image, es-tu sur que le kill emulationstation a bien fonctionné ? (normalement tu dois avoir un écran noir sur le pi) Pour vérifier, redémarre ton pi et regarde le fichier gamelist.xml correspondant, s'il est vide ou contient d'ancienne donnée, c'est que le kill n'avait pas bien fonctionné. Si tout te semble correct, vérifie bien les chemins du fichier xml (en standard : ./downloaded_images/xxxx.jpg ou .png) A priori, on m'a remonté un problème avec l'affichage des png sur la recalbox, il faut que je check ça. au pire, je forcerais le jpg dans la prochaine version. concernant les images en doublons/triplons, as tu changé le nom de la rom ? Normalement, il ne retelecharge pas une image si elle existe, mais si le nom de la rom change il retelechargera l'image. Exemple :

              mario.zip -> ./downloaded_images/mario-image.jpg

              si tu renomme :

              supermariobros.zip -> ./downloaded_images/supermariobros-image.jpg

              mais il ne supprimera pas l'ancien mario-image.jpg Sinon, attention aussi au mode "append" (ajouter de nouvelle rom). Si tu avais mario.zip, que tu as fait un scrape, puis que tu renomme en supermariobros.zip et que tu rescrapes avec la fonction "ajouter de nouvelle rom" il ne supprimera pas mario.zip... Tu auras donc les 2 qui apparaîtrons (vue qu'ils seront tous les 2 dans le fichier xml) mais qu'un seul qui fonctionnera. (Je sais pas si je suis clair ^^) Enfin, pour FBA ou Mame, tu peux choisir le système Mame. (D’ailleurs, si tu utilise la dernière version, il le fera tous seul et en plus tu pourras profiter de l'autoconfig 😉 ) N’hésite pas à me tenir au courant si tu as des problèmes 😉

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • clad-strife
                clad-strife last edited by

                Salut, Je te remercie pour les conseils, je vais allez tester ça (je pense donner mon retour dans la soirée). Et d'après ce que tu me dis il y à peut être eu un conflit avec d'ancien scrap, je vais tout enlever et refaire un scrap de zéro. En général pour le kill emultionstation j'attend effectivement que l'écran soit noir avant de commencer. Pour les doubles ou triples, non je n'ai pas changer les noms des roms justement, mais est ce que ça pouvait provenir d'un ancien scrap ce problème?   Dans tous les cas je re test tout ça et je te tiens au courant, merci pour ton aide!

                1 Reply Last reply Reply Quote 0
                • voljega
                  voljega Banned last edited by

                  Hmmm ES n'affiche un nom de jeu dans la liste que si le fichier correspondant au scrape existe réellement. Donc dans le cas ou mario.zip est renommé en supermariobros.zip, le scrape de mario.zip n'apparaitra plus même si il est encore présent dans le fichier gamelist.xml. Plus vraisemblablement : - soit copie du fichier et renommage plutôt que renommage simple - soit set pas si bien nettoyé que ça 😉 - soit erreur sur le scrape d'un jeu identifié à un autre et donc le scrape récupéré n'est pas celui du jeu... bon ça ne m'est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    – soit erreur sur le scrape d’un jeu identifié à un autre et donc le scrape récupéré n’est pas celui du jeu… bon ça ne m’est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

                    C'est normalement impossible avec UXS 😉 Justement c'est une des forces qui fait aussi sont défaut. Avec Screenscraper -> 1 Rom = 1 hash = 1 jeu. Par contre, tu as peut être plusieurs versions d'un même jeu (version Us, Eu, Jp, World, Alpha, Beta, Proto, Rev 1,2,3,....) Dans ce cas la, 1 jeu = X Hash = X roms... ça c'est possible 😉 (Je fais ma propre pub 😉 mais pour nettoyer tes Roms Set console, tu peux utiliser : Universal Rom Cleaner 😉   (Par contre je viens d'apprendre que les fichiers sont prioritaire sur le XML pour l'affichage des roms ^^ je pensais l'inverse 😛 Merci @Voljega )

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • acris
                      acris last edited by

                      Salut @screech j'ai testé la nouvelle version et impossible de cocher la 2nd passe. Par contre maintenant neogeo au 1er scrap il trouve 141/154 comment ajouter les hash manquants sur screenscraper ?

                      b2b.zip|338538FB
                      garoup.zip|1165C570
                      joyjoy.zip|CB81D2E1
                      kof2001.zip|4E477850
                      kof2002.zip|0995C14A
                      lbowling.zip|15DC8F15
                      lhcdb.zip|18CF09A4
                      ridhero.zip|1155AD28
                      shocktr2.zip|4DC34BCD
                      sonicwi.zip|2C8FFD52
                      totcarib.zip|32BBBD32
                      trally.zip|1EAB5C4D
                      

                      edit : c est voulu de laisser l icone de screenscraper apparaitre près de l horloge ?

                      1 Reply Last reply Reply Quote 0
                      • clad-strife
                        clad-strife last edited by

                        Alors je viens de réessayer, pour la Game Gear ça à fonctionné, les images n’apparaissait pas au début et après elles sont apparu, au bout de quelques minutes. Pour les doublons j'ai trouvé, effectivement j'ai laissé les versions jap, et le scrap ne prend pas les nom jap, il les mets directement au même nom de jeu, je comprend maintenant les doubles voir les triples, je sais ce qu'il me reste à faire ^^. Par contre j'ai tenté de modifier le fichier config (UXS-Config dans le dossier de XML c'est bien ça?) je n'ai pas réussi à le faire, j'ai peut être mal réalisé la manip, enfin après ce n'est pas encore trop grave tant que j'ai au moins une image par jeu. Merci pour les conseils.   Edit : Merci pour le universal roms cleaner, je vais essayer ça demain. Par contre j'ai de nouveau le problème des images qui ne s'affiche pas alors que le scrap c'est bien déroulé. J'ai effectuer le scrap Game Gear, redémarré le pi et la ok les images apparaissent. Je réutilise la commande kill emulationstation, je fait trois scrap, celui de fba_libretro (qui trouve quasiment tout), celui de mame (qui bizarrement beug) et celui de la megadrive. Au redémarrage les images megadrive s'affiche sans problème, mais pour fba_libretro rien du tout, le fichier gamelist est bien édité, les screens sont bien dans le dossier et même après plusieurs redémarrage il n'y à toujours rien de visible.

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          @Acris Oui effectivement, le menu 2 Passes est toujours la, il faut que je le retire, il ne sert plus à rien 😉 (en fait, maintenant il scrape automatiquement une 2eme fois uniquement les roms qu'il ne trouve pas la première fois). Je pensais avoir retiré le menu, je le ferais sur la prochaine version 😉 Pour le logo à coté de l'heure, oui c'est normal, mais je peux le retirer si vous trouvez ça gênant 😉 @Clad-strife dit moi ce que tu veux comme image à la place des screenshot, et je t'aiderais à configurer le fichier ini 😉 Quand tu dis que celui de mame beug, tu peux m'en dire un peu plus ? (il ne trouve rien ? te met un message d'erreur ?) Enfin pour fba-libretoro et tes images : Ouvre le fichier gamelist.xml qui est dans le répertoire FBA et regarde la première ligne qui commence par

                          <image>

                          Tu dois avoir quelque chose du genre :

                          <image>./downloaded_images/NOMDELAROM-image.png</image>

                          Vérifie qu'il n'y a pas de "/" en trop ou manquant et qu'il ne manque pas le "." au début. Puis regarde dans le répertoire "downloaded_images" si l'image est bien présente (NOMDELAROM-image.png ou .jpg) Si c'est le cas, essaye d'ouvrir l'image pour voir si elle s'ouvre bien et qu'elle est correcte. Si tout ça est OK, je n'ai pas la moindre idée pourquoi ça marche des fois et pas d'autre. Peut être un problème avec les .png, je vais voir à forcer en .jpg si c'est le cas.

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • supernature2k
                            supernature2k last edited by

                            Hi All, Merci @screech pour ton soft, J'ai un excellent taux de réussite sur les consoles "pas trop vieilles" 🙂 En revanche quand ce ne sont pas des zips ou des zips qui ne lui plaisent pas, le taux tombe à zéro. Le plus gros problème reste les roms "mame" alors que imo, ce sont les plus simple à scrapper en se basant sur le nom qui est toujours le même. Aurais-tu moyen de baser le scrap mame (et uniquement lui) sur le nom au lieu du hash? Pour le problème de @Clad-strife, j'ai eu ça aussi. En fait il y a du avoir un bug lors du merge des xml et il manquait le <gamelist> au début du xml final. Edit: j'oubliais, pourquoi tes scraps sont en png? imposé par screenscraper.fr? Les jpg de thegames.db prennent 10 fois moins de place 😕

                            Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                            Upvote messages if it has been useful ;)

                            1 Reply Last reply Reply Quote 0
                            • voljega
                              voljega Banned last edited by

                              et sont 10 fois plus moches et pixellisés 🙂 d'ailleurs j'utilise un thème 'big picture' (avec les images en grand) et je suis en train de refaire une récupération de toutes les images sur screenscraper car celles de thegamesdb sont absolument dégueulasses. et même celles de screenscraper ne sont pas toujours d'une qualité suffisante, en dessous de 600*600 ça pixelise de façon +/- visible selon les systèmes

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                @Supernature2k En fait, je suis dépendant du contenu du site Screenscraper et de son fonctionnement. Pour le moment, le site screenscraper ne permet de scraper que depuis le hash d'un fichier. Il faut que ce hash soit référencé sur le site. Et au jour d'aujourd'hui, seul les roms provenant de grosse distribution (style no-intro et donc zippées) sont référencées. Donc si tu as une rom un peu exotique ou dans un format zip qui n'est pas l'original du romset (ce qui modifie le hash) ta rom ne sera pas trouvée. L'avantage, c'est que si tu as une rom d'un romset connue, il l'a trouve sans erreur. C'est un peu à double tranchant 😉 Pour le problème de balise "gamelist" qui n'existe pas au début, ça peut se produire si tu demande un ajout de rom sur un fichier xml vide ou un fichier xml dont le format est un peu différent (genre il manque l’entête du fichier "xml version="1.0" encoding="UTF-8"") Enfin, je viens de recompiler une nouvelle version v1.1.1.4 avec un nouveau champ dans les profiles : $ExtImage qui permet de préciser :

                                • Rien = comme l'original du site
                                • jpg = en jpg
                                • png = en png

                                Comme ça vous avez le choix. Concernant le poids des png, normalement, il est plus léger que les jpg ^^ Par contre la résolution peut jouer. (Si tu scrape un fanart en 1920*1080, il vaut mieux que tu lui demande un redimensionnement 😉 Tu peux changer la résolutions dans la configuration, pour Recalbox, je te conseil un 400x400 ce qui est largement suffisant pour les screenshot 😉 Donc en gros, maintenant, c'est toi qui choisi le poids et la qualité des images du scrape 😉 @Voljega effectivement certaines images peuvent avoir des résolutions pas terrible. Mais il faut savoir que les résolutions d'origine joue pas mal 😉 pour m’être pas mal occupé de la game gear, un screenshot dans la résolution native de la console fait 160x144 ^^ donc même en 400x400 ça pixou un peu ^^

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • supernature2k
                                  supernature2k last edited by

                                  Excellent! Merci beaucoup, je test ça dès que je peux.

                                  Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                  Upvote messages if it has been useful ;)

                                  1 Reply Last reply Reply Quote 0
                                  • voljega
                                    voljega Banned last edited by

                                    @Screech oui je parlais uniquement pour les covers. pour les screenshots qui sont bien évidemment pixellisés à la base, le problème ne se pose pas. !

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      Ah oui, les covers ^^ pour en avoir fait pas mal, la grosse difficultés réside dans le fait de trouver une source sur internet avec des images pas trop dégueux (quand on a pas la chance d'avoir une collection de vraie boite pour les scanner ^^) Et je dois dire que souvent les back cover sont horrible... C'est hyper dur à trouver... Les fronts un peu plus facile, mais pas toujours au top ^^ M'enfin on fait au mieux ^^

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • voljega
                                        voljega Banned last edited by

                                        Oui même les fronts même sur des systèmes connus et des jeux connus, il est parfois impossible de trouver une pochette en bonne qualité, ne serait que la résolution et je ne parle même des couleurs ou de la luminosité... alors les backs j'imagine même pas ^^

                                        1 Reply Last reply Reply Quote 0
                                        • clad-strife
                                          clad-strife last edited by

                                          Bonjour, Alors pour les images je vourdais les covers des jeux en 2D quand c'est possible sinon un screenshot le cas échéant. Pour les jeux Mame, ils ne trouvent rien et au moment de fusionné les fichier xml il me dit qu'il ne peut pas (il faut que je réessaie et que je note le message exact). Pour les scrap qui n’apparaissent pas j'ai été voir dans les gamelist et effectivement il y à un soucis, j'ai comparé aux autres qui on fonctionné et j'ai ça :  <image>/recalbox/share/roms/fba_libretro/downloaded-images/gtmr-image.png</image> <rating>0.9</rating> au lieu d'un** <image>./downloaded_images/NOMDELAROM-image.png</image>,** je ne comprend pas trop pourquoi, j'ai fait 2/3 scrap d'affilé, et certain on fonctionné d'autre pas (Megadrive ok, mais FBA Liberetro et Nec Pc même problème). Le <gamelist> par contre apparaît bien en début de fichier.   Je retente un scrap après je vous tiens au courant. Merci pour votre aide.   Edit : je n'ai pas toucher au chemin des roms dans le fichier xml dans la configuration de XML Scrapeur Et j'ai toujours un message d'erreur quand je sélectionne recalbox V.4 : "Les chemins des ROMS pour la configuration automatique n'est pas accessible".

                                          1 Reply Last reply Reply Quote 0
                                          • voljega
                                            voljega Banned last edited by

                                            quand ES fait joujou et replace le path relatif (./downloaded_images) par le path complet (/recalbox/share/roms/fba_libretro/downloaded-images/) ça veut dire qu'il n'a pas trouvé ton fichier d'image si tu regardes dans le répertoire elle ne doit pas exister peut être qu'il ne l'a pas téléchargé ? même chose pour les paths des fichiers de roms

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            86
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com