Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    423965
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by screech

      @n0arc tes roms sont bien en zip ?
      Parce que le scraper ne trouve rien dans ton répertoire NES.
      Le site screenscraper qui fournit les informations et les images ne peut reconnaître tes roms que si elles sont zippées (ou 7zippées) et qu’elles proviennent d’un set connu (No-Intro, FullSet, Tosec, retrobution,…).
      A priori, (hormis pour la N64) le fait que les roms soient zippées ne pose aucun problème à Recalbox.

      (Attention aussi, si tu rezipe une rom dézipé, il est possible que cela change le Hash en fonction des paramètres de compression.)

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • luckiest
        luckiest last edited by

        Plop tous le monde, Bon c'est nikel Screech,  sauf pour les 3D mais bon au final je préfère "screenshot" pour lequel aucun probleme. En fait, dés que je passe par les 3D j'ai pas mal d'erreur sur les fichiers ".png". Dans l’aperçu windows, elle ne sont pas complète (environ 20-30%), et quand je veux ouvrir l'image il m'indique fichier corrompu ... c'est bizarre ... Voili, voilou Luckiest

        RPi3 recalboxOS v4.0.0 final - Manettes Super Nes USB ou PS3 Shanwan

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          Je vais refaire des tests 😉 je vous tiens au courant (les boîtiers sont "plus gros" que les screenshots en règles générale. Du coup ça pose peut être des problèmes...)

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • yassa57
            yassa57 last edited by

            Salut Screech je viens te remonter un problème qui m'arrive (pour une fois) :))))) Alors je viens de remarquer que lorsque je lance une gamelist en mettant screenshoot en première ligne tout es impeccable et fonctionnelle par contre lorsque par exemple je change la ligne pour vouloir mette  boîtier 2d la tout le cycle se passe bien elles sont bien dans le.dossier images  mais invisible sur ma gamelist? C'est comme si pour ma part ma gamelist accepté juste les screenshoot A voir si pour d autres c est pareil

            1 Reply Last reply Reply Quote 0
            • acris
              acris last edited by

              J essaie de faire fonctionner le soft , beau boulot Screech. Cependant quelques remarques : - ça serait bien davoir un scrap qui scranne tous les dossiers sans devoir chercher les dossiers un à un. - Je m attendais apres avoir séléctionner le profil que la fenetre de configuration s ouvre puis qu on doit configurer les chemins des différents répertoires. - le fichier log ça serait bien d'avoir une séparation entre les trouver et les non trouvés car ce qui nous intéresse le plus ce sont celle qui n ont pas été trouvé.

              1 Reply Last reply Reply Quote 0
              • arnaud-castiglione
                arnaud-castiglione last edited by

                Effectivement elles ne sont pas zippées... quel c** ! Merci de ton aide !   Edit: effectivement le hash change si je les rezippe.... j'ai pas envie de tout retélécharger donc je vais scraper autrement !

                1 Reply Last reply Reply Quote 0
                • ralgamaziel
                  ralgamaziel last edited by

                  salut à tous, J'essaie de faire fonctionner le soft, mais il ne reconnait aucune rom... J'ai parcouru le topic, et j'ai bien vérifié : - que mes roms sont en .zip - qu'elles viennent d'une source a priori connue (ici, no-intro, version 2016-01-03... et les md5 des zip correspondent à la db de screenscraper) Voilà le débug du log du scraping des jeux snes :

                  Universal XML Scraper [BETA 1.0.0.2] Démarrage le 13/03/16 - 20:51:00 [20:51:00] - Langue Séléctionnée : 040c [20:51:00] - Récupération des Profil [20:51:29] - Modification de la config : [20:51:29] - PathRom : \RECALBOX\User data\roms\snes [20:51:29] - PathRomSub : ./ [20:51:29] - PathNew : \RECALBOX\User data\roms\snes\gamelist.xml [20:51:29] - PathImage : \recalbox\User data\roms\snes\img [20:51:29] - PathImageSub : \recalbox\User data\roms\snes\img [20:51:29] - HauteurImage : 500 [20:51:29] - LargeurImage : 500 [20:51:58] - Modification de la config : [20:51:58] - PathRom : \RECALBOX\User data\roms\snes [20:51:58] - PathRomSub : ./ [20:51:58] - PathNew : \RECALBOX\User data\roms\snes\gamelist.xml [20:51:58] - PathImage : \recalbox\User data\roms\snes\img [20:51:58] - PathImageSub : \recalbox\User data\roms\snes\img [20:51:58] - HauteurImage : [20:51:58] - LargeurImage : [20:52:00] - Récupération des informations des systemes [20:52:09] - Systeme séléctionné : Super Nintendo [20:52:09] - Nombre de roms trouvées : 555 [20:52:09] - Calcul des Hash [20:52:18] - Fin de Calcul des Hash en : 8.82s [20:52:18] - Récupération des Profil [20:52:18] - Récupération des champs du profil [20:52:18] - Récupération des informations de la Rom n° 1 [20:52:19] - Fin de l'écriture des informations de la Rom n° 1 en 0.942s [20:52:19] - ()Rom non trouvé : carrier aces (europe).zip [20:52:19] - Récupération des informations de la Rom n° 2 [20:52:20] - Fin de l'écriture des informations de la Rom n° 2 en 0.745s [20:52:20] - ()Rom non trouvé : pirates of dark water, the (europe).zip

                  des idées ? (PS : RPi2 & version v4.0.0-beta2 ) edit : ajout d'un screen d'un check md5 sur la 1ere rom de la liste (visible dans le log)

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by screech

                    Le seul truc que je vois d'anormal :
                    [20:51:58] – PathRom : \RECALBOX\User data\roms\snes
                    [20:51:58] – PathRomSub : ./ [20:51:58] – PathNew : \RECALBOX\User data\roms\snes\gamelist.xml
                    [20:51:58] – PathImage : \recalbox\User data\roms\snes\img
                    [20:51:58] – PathImageSub : \recalbox\User data\roms\snes\img

                    Il manque les "" de fin de répertoire pour le PathRom et le PathImage et je te conseil de ne mettre que "./img/" dans le PathImageSub sinon la recalbox risque de ne pas trouver tes images.

                    Je vais essayer de faire une correction pour les \ de fin de répertoire, à priori, ça provoque quand même pas mal de retour 😉 faut que je trouve un truc 😉

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • ralgamaziel
                      ralgamaziel last edited by

                      Merci pour ta réponse rapide, je teste ça ce soir 🙂 Ah et petit commentaire : mettre tes 2 softs (le scraper et le cleaner) dans le même dossier ça fait n'importe quoi (même noms de fichiers/dossiers), donc si jamais c'est possible techniquement (et que tu as le temps bien sûr), ça serait peut-être pas mal de changer les noms 😉

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        Effectivement 😉 surtout que le but, à terme est de créer une collection de soft 😉 Je vais voir ça pour avoir des noms uniques 😉 (Mais la je suis en train de me battre avec GITHUB pour comprendre comme ça marche :S)

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • acris
                          acris last edited by

                          Pour github rends toi sur irc si tu as besoin d'aide, @subs, @rockaddicted pourront t expliquer.

                          1 Reply Last reply Reply Quote 0
                          • ralgamaziel
                            ralgamaziel last edited by

                            petit up pour dire qu'un mettant le \ ça marche mieux 🙂 merci !

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              Et voila, les outils "Universal" sont maintenant sur GitHub 😉 : Universal ROM Tools @Acris j'ai oublié de te répondre :

                              – ça serait bien d'avoir un scrap qui scanne tous les dossiers sans devoir chercher les dossiers un à un.

                              -> Pour le moment difficile à réaliser, il faut indiquer à ScreenZone le système scrapé et pour le moment il n'y a pas de correspondance entre les répertoires de la recalbox et la liste des systèmes sur le site. Du coup, pas simple à faire (surtout si le scrape à lieu sur un PC et que les répertoires ne correspondent pas....)

                              – Je m attendais après avoir sélectionner le profil que la fenêtre de configuration s ouvre puis qu on doit configurer les chemins des différents répertoires.

                              -> En fait, de base le fichier config.ini indique la recalboxV4 et Screenscraper comme profil (tu peux d’ailleurs changer pour voir que l'interface change en fonction 😉 ) Mais effectivement c'est une bonne idée. Sur la dernière version du Github, la fenêtre de config s'ouvre après avoir choisi un profil.

                              – le fichier log ça serait bien d’avoir une séparation entre les trouver et les non trouvés car ce qui nous intéresse le plus ce sont celle qui n ont pas été trouvé.

                              -> Le fichier log est un fichier log 😉 il me sert pour aider à déboguer ou résoudre les problèmes rencontré par les users 😉 mais du coup, je génère un fichier "missing.txt" sur la dernière version avec les roms non trouvées 😉 @ralgamaziel Comme annoncé, les dernières versions de mes softs (dispo sur le github) utilisent maintenant des fichiers avec des noms distincts, tu peux donc maintenant mettre les 2 exe dans le même répertoire sans problème 😉 Et très heureux d'avoir pu aider à faire en sorte que ça marche 😉 (promis je trouve une solution bientôt pour que ce \ manquant ne posent plus de problème 😉 ) Et pour info, j'ai commencé à bosser sur une nouvelle version de XML Editor 😉 vous l'aurez bientôt (j’espère :p)

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • acris
                                acris last edited by

                                @screech > j ai vu que tu boudais mes réponses mdr. merci d'avoir répondu, tu peux pas faire une genre de boucle pour qui repere les noms de dossiers?

                                1 Reply Last reply Reply Quote 0
                                • ralgamaziel
                                  ralgamaziel last edited by

                                  je peux faire une autre doléance ? 😄 je t'explique mon cas : J'ai DL les best sets d'open consoles ici, et je lance ton scraper. Il ne trouve qu'une partie des roms mais c'est normal, y'a des trads FR non référencées par screenscraper notamment. Du coup, dans le gamelist.xml, j'ai uniquement les jeux qu'il a reconnu, ce qui parait logique, et aucune mention des jeux non reconnus. Mais c'est un peu la plaie pour rajouter à la mimine les jeux non reconnus, donc est-ce qu'il serait possible de mettre des balises vides pour ces jeux ? Comme ça, à l'édition manuelle via ton XML editor, au moins j'ai pas à check les jeux manquants et à les rajouter à la main, j'aurais juste à compléter les balises. Je sais pas si je suis clair x)

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by screech

                                    @Acris pour la boucle, je vais voir, mais il faut que je demande à Marbl3Mad (l'admin de screenscraper) pour voir ce que je peux faire 😉

                                    @ralgamaziel c'est bizarre normalement, si une rom n'est pas trouvé, il l'ajoute quand même au fichier xml avec juste le chemin de la rom et ses HASH (crc32, md5 et sha1). Encore une fois tu peux m'envoyer ton log ?

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • acris
                                      acris last edited by

                                      MarbleMad > passe de temps en temps sur le canal irc si jamais 😄

                                      1 Reply Last reply Reply Quote 0
                                      • ralgamaziel
                                        ralgamaziel last edited by

                                        oublie Screech, c'est moi qui a de la m*rde dans les yeux, y'a bien les balises pour les jeux non trouvés x) Bref, ça marche bien (même s'il n'a reconnu aucune rom du best set NES d'open consoles T_T )   Edit : @Screech , une idée de pourquoi la flèche reste rouge sur le dossier de roms GB ? ça marche très bien pour la gbc, le dossier image existe, j'ai choisi le profil, etc... (cf pièce jointe)

                                        1 Reply Last reply Reply Quote 0
                                        • ralgamaziel
                                          ralgamaziel last edited by

                                          J'aime pas up les topics et double posts, mais pas moyen de scraper mon dossier GB (cf post précédent) ... Sachant qu'en remplaçant juste "gb" par "gbc" dans les chemins, ça fonctionne sur le dossier de roms GBC...

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by screech

                                            J'ai trouvé. C'est un petit bug (que je résoudrait dans la prochaine version )
                                            Le fichier gamelist.xml n'existe pas dans le rep gb.
                                            2 solutions :

                                            • Tu en créer un vide (avec notepad par exemple)
                                            • Ou tu passes par les 3 petits points pour préciser le fichier (et s'il n'existe pas il le créera )

                                            Test et redit moi 😉

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            79
                                            Online

                                            98.7k
                                            Users

                                            28.1k
                                            Topics

                                            187.0k
                                            Posts

                                            Copyright © 2021 recalbox.com