Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    480634
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      Effectivement 😉 surtout que le but, à terme est de créer une collection de soft 😉 Je vais voir ça pour avoir des noms uniques 😉 (Mais la je suis en train de me battre avec GITHUB pour comprendre comme ça marche :S)

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • acris
        acris last edited by

        Pour github rends toi sur irc si tu as besoin d'aide, @subs, @rockaddicted pourront t expliquer.

        1 Reply Last reply Reply Quote 0
        • ralgamaziel
          ralgamaziel last edited by

          petit up pour dire qu'un mettant le \ ça marche mieux 🙂 merci !

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            Et voila, les outils "Universal" sont maintenant sur GitHub 😉 : Universal ROM Tools @Acris j'ai oublié de te répondre :

            – ça serait bien d'avoir un scrap qui scanne tous les dossiers sans devoir chercher les dossiers un à un.

            -> Pour le moment difficile à réaliser, il faut indiquer à ScreenZone le système scrapé et pour le moment il n'y a pas de correspondance entre les répertoires de la recalbox et la liste des systèmes sur le site. Du coup, pas simple à faire (surtout si le scrape à lieu sur un PC et que les répertoires ne correspondent pas....)

            – Je m attendais après avoir sélectionner le profil que la fenêtre de configuration s ouvre puis qu on doit configurer les chemins des différents répertoires.

            -> En fait, de base le fichier config.ini indique la recalboxV4 et Screenscraper comme profil (tu peux d’ailleurs changer pour voir que l'interface change en fonction 😉 ) Mais effectivement c'est une bonne idée. Sur la dernière version du Github, la fenêtre de config s'ouvre après avoir choisi un profil.

            – le fichier log ça serait bien d’avoir une séparation entre les trouver et les non trouvés car ce qui nous intéresse le plus ce sont celle qui n ont pas été trouvé.

            -> Le fichier log est un fichier log 😉 il me sert pour aider à déboguer ou résoudre les problèmes rencontré par les users 😉 mais du coup, je génère un fichier "missing.txt" sur la dernière version avec les roms non trouvées 😉 @ralgamaziel Comme annoncé, les dernières versions de mes softs (dispo sur le github) utilisent maintenant des fichiers avec des noms distincts, tu peux donc maintenant mettre les 2 exe dans le même répertoire sans problème 😉 Et très heureux d'avoir pu aider à faire en sorte que ça marche 😉 (promis je trouve une solution bientôt pour que ce \ manquant ne posent plus de problème 😉 ) Et pour info, j'ai commencé à bosser sur une nouvelle version de XML Editor 😉 vous l'aurez bientôt (j’espère :p)

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • acris
              acris last edited by

              @screech > j ai vu que tu boudais mes réponses mdr. merci d'avoir répondu, tu peux pas faire une genre de boucle pour qui repere les noms de dossiers?

              1 Reply Last reply Reply Quote 0
              • ralgamaziel
                ralgamaziel last edited by

                je peux faire une autre doléance ? 😄 je t'explique mon cas : J'ai DL les best sets d'open consoles ici, et je lance ton scraper. Il ne trouve qu'une partie des roms mais c'est normal, y'a des trads FR non référencées par screenscraper notamment. Du coup, dans le gamelist.xml, j'ai uniquement les jeux qu'il a reconnu, ce qui parait logique, et aucune mention des jeux non reconnus. Mais c'est un peu la plaie pour rajouter à la mimine les jeux non reconnus, donc est-ce qu'il serait possible de mettre des balises vides pour ces jeux ? Comme ça, à l'édition manuelle via ton XML editor, au moins j'ai pas à check les jeux manquants et à les rajouter à la main, j'aurais juste à compléter les balises. Je sais pas si je suis clair x)

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by screech

                  @Acris pour la boucle, je vais voir, mais il faut que je demande à Marbl3Mad (l'admin de screenscraper) pour voir ce que je peux faire 😉

                  @ralgamaziel c'est bizarre normalement, si une rom n'est pas trouvé, il l'ajoute quand même au fichier xml avec juste le chemin de la rom et ses HASH (crc32, md5 et sha1). Encore une fois tu peux m'envoyer ton log ?

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • acris
                    acris last edited by

                    MarbleMad > passe de temps en temps sur le canal irc si jamais 😄

                    1 Reply Last reply Reply Quote 0
                    • ralgamaziel
                      ralgamaziel last edited by

                      oublie Screech, c'est moi qui a de la m*rde dans les yeux, y'a bien les balises pour les jeux non trouvés x) Bref, ça marche bien (même s'il n'a reconnu aucune rom du best set NES d'open consoles T_T )   Edit : @Screech , une idée de pourquoi la flèche reste rouge sur le dossier de roms GB ? ça marche très bien pour la gbc, le dossier image existe, j'ai choisi le profil, etc... (cf pièce jointe)

                      1 Reply Last reply Reply Quote 0
                      • ralgamaziel
                        ralgamaziel last edited by

                        J'aime pas up les topics et double posts, mais pas moyen de scraper mon dossier GB (cf post précédent) ... Sachant qu'en remplaçant juste "gb" par "gbc" dans les chemins, ça fonctionne sur le dossier de roms GBC...

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by screech

                          J'ai trouvé. C'est un petit bug (que je résoudrait dans la prochaine version )
                          Le fichier gamelist.xml n'existe pas dans le rep gb.
                          2 solutions :

                          • Tu en créer un vide (avec notepad par exemple)
                          • Ou tu passes par les 3 petits points pour préciser le fichier (et s'il n'existe pas il le créera )

                          Test et redit moi 😉

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • ralgamaziel
                            ralgamaziel last edited by

                            le scrap vient de partir, merci 😉

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              Corrigé dans la dernière version : Universal XML Scraper

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • figolu
                                figolu last edited by

                                Salut Screech, je trouve ton soft vraiment très bien fait, et très très pratique, mais je me posait une question : y a t-il un moyen de pouvoir scraper les info des roms en minuscules ? ou mieux encore avec une majuscule en début de phrase ? (comme sur le site de Screenscraper.fr en fait ...)

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  Effectivement c'est une option que j'avais prévu. Mais pour le moment je l'avais forcé en MAJ parce que la recalbox affiche de toutes façons en MAJ. Je rajouterai l'option dans la prochaine version 😉

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    Voila 😉 La nouvelle version gère l'option Majuscule 😉 GitHub de Universal XML Scraper

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • figolu
                                      figolu last edited by

                                      Wow, ça c' est de la réponse rapide, et du travail bien fait ... Merci beaucoup pour ton travail et ta réactivité, je m' empresse de l' essayer de ce pas !!!

                                      1 Reply Last reply Reply Quote 0
                                      • angelfred
                                        angelfred last edited by

                                        Bonjour, petite question de nouveau 😉 j'ai vu au début du sujet qu'il fallait que les fichiers des roms soient en .zip Est-ce toujours le cas avec la dernière version du logiciel ou pas ? sinon avait vous une méthode rapide pour zipper en série toutes les roms sans le faire une à une ? d'avance merci de vos réponses Angelfred

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by screech

                                          Oui, effectivement, le format zip est obligatoire pour fonctionner avec le site Screenscraper (qui contient les base de données en fr).
                                          Concernant le fait de "Re-zipper" tes roms, je ne t'y encourage pas, c'est long de tous rezipper, et sans garantie (si le réglage de ton zip n'est pas identique au zip d'origine, il y aura des différences de Hash et tes jeux ne seront pas trouvés.)
                                          Le plus simple, si tu as une connexion internet avec un débit suffisant, est de télécharger un romset tous fait (tu en trouves facilement sur internet, genre les set "no-intro" qui sont une référence... Google est ton ami 😉 )

                                          Tu pourras ensuite nettoyer facilement ton romset avec Universal ROM Cleaner 
                                          (pour retirer les roms qui ne te plaise pas, genre : les roms en japonais ou en Allemand, les roms de sample, les betas, les prototypes,...)
                                          Il ne te restera plus qu'à lancer le scraper sur ton set nettoyé pour avoir ton fichier XML 😉

                                          Pour information, hormis pour la N64, tu peux avoir toutes tes roms en zip. ça fonctionne très bien (même sur un PI1 pour ce que j'avais testé;). En plus, tu gagnes de la place 😉

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • angelfred
                                            angelfred last edited by

                                            Ok merci de ta réponse rapide et complète. pour les romset c'est pas un souci j'en ai déjà ; en revanche mes fichiers zip sont constitués de toutes les versions disponibles d'un même jeu (1 zip pour un jeu avec x versions dedans). Universal ROM Cleaner gère les zip comme ceux là ou faut il que je trouve des fichiers 1 zip pour 1 jeu pour 1 version Edit : j'ai trouvé ma réponse en téléchargeant un romset no-intro 😉 Je teste tt ça et reviendrai faire part de mon résultat ; en tout cas déjà un énorme merci pour tes ptis softs qui ont l'air bien sympa

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            86
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com