Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    481122
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      Hello, désolé de ne pas avoir répondu plus tôt 😉 @Voljega : Je rencontre le même problème que toi, toutes les demandes de media ne me retournent que des screenshot (quel-qu’ils soient : box 2D /3D, wheels, etc...) Je viens d'avertir @Arcademy / MarbleMad sur le forum de Screenzone (sans pub inside ^^) @BaZino : Effectivement, le site de screenscraper est toujours en cours d'alimentation, tous les screenshots (ou autres informations) ne sont pas encore présent, mais les bénévoles qui travail dessus ajoutent des centaines (milliers ?) d'informations quotidiennement.. N’hésite pas à venir participer pour améliorer encore la base de données pour le bien de tous 😉

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • john-rimbaud
        john-rimbaud last edited by

        drap ^^

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          @Voljega c'est bon c'est corrigé 😉 ça devrait remarcher correctement maintenant 😉

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • voljega
            voljega Banned last edited by

            Cool je reessaierai ce soir du coup il faut un ou plusieurs D majuscules ou pas ? 😄

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              Normalement la version de base re fonctionne correctement 😉

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • rockaddicted
                rockaddicted last edited by

                @arcadmy

                Si ça dérange, je peut aussi m’abstenir de répondre au demande de la communauté RB sur votre Forum !

                Haha bien entendu je plaisantais marblemad 😉 J'invite d'ailleurs chaque utilisateur de recalbox à contribuer au projet screen-scraper afin d'étoffer la DB!

                Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                Don't forget to upvote messages if it has been useful ;)

                1 Reply Last reply Reply Quote 0
                • john-rimbaud
                  john-rimbaud last edited by

                  Je viens d'essayer, c'est toujours un screenshot qui est télécharger (en config de base).

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Oui, la config de base télécharge les screenshot, mais tu as tout ici : pour changer le media téléchargé : WIKI

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • john-rimbaud
                      john-rimbaud last edited by

                      Suite à la modif, le fichier ini est ok mais dès que je lance le scrapper, le fichier reviens dans son état de base (sans mes changements donc... 😕 Etrange...   EDIT : en lecture seule, ça à l'air de le faire ^^ Merci à toi ^^

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        En toute logique, le fichier ini n'est "écrasé" que dans le cas d'une nouvelle version (parce que des modifications peuvent avoir lieu sur les profils d'une version à l'autre) Tu me confirme que tu as la dernière version et que tout au début du fichier tu as bien le tag suivant : [GENERAL] $verINI = '1.0.0.8' Si ce n'est pas le cas, ajoute le 😉 (mais normalement, si tu as la dernière version, il devrait l'ajouter tout seul après avoir mis à jour ton fichier ini.)

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • john-rimbaud
                          john-rimbaud last edited by

                          J'ai bien ceci: [GENERAL] $verINI = '1.0.0.8' Verbose = 1   Par contre, si ça a marché parfaitement pour la snes et la megadrive, il ne reconnait pas mes roms mega cd et gameboy color.

                          1 Reply Last reply Reply Quote 0
                          • jomofcw
                            jomofcw last edited by

                            Bonjour à tous ! Tout d'abord, merci @screech pour le soft =). Ça marche niquel ! A un détail prêt : je l'utilise depuis hier et c'est extrêmement lent. De ce que je lis ici et sur IRC ça ne semble pas "normal". Je me décide donc à poster le problème sur ce forum. Le contexte : PC récent (Intel Core I5-4570) sous Windows 10 (à jour), clé USB RecalBox connecté au PC (Sandisk 128Go), connexion Internet via fibre optique (~90Mbps parallèle). Je fais un test sur un de mes plus petit répertoire de ROMs, celui du sega32x. 63 roms traitées avec succès en 2m51s (soit 1 rom toutes les 2,8 secondes environ). Là c'est tout à fait correct au niveau du temps. Je lance le scrapping sur mon répertoire "nes". Là c’est une autre histoire puisqu'il y a 2690 roms à traiter. Les premières ROMs se font sans soucis, à vue de nez par trop plus de 2s par ROM... mais à la longue, ça se détériore... beaucoup. Présentement j'en suis à 508 ROM traitées, et ça met environ 9s par ROM. Sur mon essaie d'hier je suis allé jusqu'à environ 1500 ROMs de mémoire et ça mettait bien plus de 20s par ROM. Au final, le soft a tourné plus de 7H pour faire les 1500 ROMs, je l'ai arrêté manuellement via le bouton stop, les infos des ROMs traitées sont bien dispo, je les vois dans ES. Donc galère :/... Le deuxième "soucis", c'est que je pensais que le soft ne repasserait pas sur les ROMs déjà traitées, mais apparemment si... du coup ça n'en finira jamais ou à défaut ça va mettre clairement des plombes. Donc je ne sais pas trop quoi faire... une idée SVP ? Sachant que j'aimerais bien avoir mon scrapping en FR et que ce soft semble très bien fonctionner chez nombre de personne donc, pourquoi pas chez moi ? Toute aide est la bienvenue, merci d'avance ! ----------------------------------- Evolution du temps pour suivis :

                            • 508 ROMs traitées : ~9s par ROM;
                            • 717 ROMs traitées : ~13s par ROM;
                            • 1027 ROMs traitées : ~22s par ROM; > j'arrête là pour tenter de scrapper depuis le disque dur et non depuis la clé

                            "Be CoOl, KeEp CoOl, HaVe FuN !"

                            1 Reply Last reply Reply Quote 0
                            • voljega
                              voljega Banned last edited by

                              Perso je copie colle les roms depuis un répertoire de sauvegarde vers un répertoire de scrape. Je fais le scrape des disons 500 premières, jusqu'à ce que ça devienne trop lent. J'arrête le scrape, j'efface les 500 premières roms et je relance le scrape. Pour la NES j'ai fait trois ou quatre batchs de scrape.... A la fin il suffit d'effacer le contenu du répertoire de scrape sauf gamelist.xml et downloaded_images et de recopier tous les fichiers roms dans le répertoire de scrape depuis le répertoire de sauvegarde...

                              1 Reply Last reply Reply Quote 0
                              • jomofcw
                                jomofcw last edited by

                                Bon, j'ai tenté de scrapper direct sur disque dur plutôt que sur la clé USB : même résultat, voir pire (du fait que le DD soit sollicité également pour le fonctionnement du PC je pense). En effet, j'étais déjà à prêt de 9s par ROM à la 290ème. @voljega salut ! OK, merci pour la méthode. J'vais tenter ça en attendant mieux... Par contre il y a un truc que je nai pas du saisir... sauf erreur de ma part, le fichier gamelist.xml est reset au début de chaque processus (l'ancien est stocké dans gamelist.xml.old)... donc tu les fusionnes à la main pour pas perdre l'historique ?

                                "Be CoOl, KeEp CoOl, HaVe FuN !"

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  Bonjour, Effectivement, c'est un problème que je rencontre aussi. A priori, cela vient de l’écriture dans le fichier XML qui, plus il grossit, plus il devient lent. J'utilise des composants "standard" pour la gestion du XML et j'ai l'impression que ça vient d'eux... Je vais voir si je peux optimiser cette partie pour la rendre plus efficace. Concernant le reset du fichier à chaque scrap, c'est dans ma todo list de faire un fonction "append" qui ne ferait que "compléter" un fichier avec les manquants. La problématique vient justement des gros fichiers. Exemple, tu rajoutes 10 roms à un fichier XML qui en contient 2000, il faut tout pa**er pour voir si la rom existe déjà ou pas... Du coup c'est une usine à gaz hyper lente... Il faut que je revois la metodo... Dès que je peux me dégager du temps et me remettre dessus à fond, je m'en occupe promis 😉

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • john-rimbaud
                                    john-rimbaud last edited by

                                    Ton soft marche déjà très bien ^^

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      Un petit détail 😉 le 'Verbose = 1' ralentie aussi énormément (mais génère un gros fichier de log) Pensez à supprimer la ligne (ou à la passer à 0 ^^)

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • voljega
                                        voljega Banned last edited by

                                        "Concernant le reset du fichier à chaque scrap, c’est dans ma todo list de faire un fonction “append” qui ne ferait que “compléter” un fichier avec les manquants. La problématique vient justement des gros fichiers. Exemple, tu rajoutes 10 roms à un fichier XML qui en contient 2000, il faut tout pa**er pour voir si la rom existe déjà ou pas… Du coup c’est une usine à gaz hyper lente… Il faut que je revois la metodo…" Lis le fichier XML existant au début, extrait une simple liste de chaine des fichiers de roms déjà scrappés que tu gardes dans un coin (ça te fera une liste de 1000 éléments max) et quand tu fais la réconciliation tu compares ton nom de fichier à réconcilier par rapport à cette liste plutôt que par rapport au fichier. Sinon pour la génération du scrappe en règle générale, si c'est la taille du fichier qui prend du temps tu peux générer des bouts de fichiers, tous les 200 fichiers scrappés par exemple, tu passe à un autre fichier xml ou texte temporaire, à la fin tu combines tous tes fichiers temporaires en un seul. (tu peux même le faire en copiant/collant le contenu texte du fichier plutôt que de le considérer comme du xml à cette étape)

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          Pour la version Append, c’était l'idée que j'en avais, par contre, pas bête l'idée de fractionner le scan et de fusionner le tout à la fin 😉 Je vais surement bosser dessus ce WE 😉 Merci 😉

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • jomofcw
                                            jomofcw last edited by

                                            Merci pour ta réponse @screech :-). En attendant j'ai utilisé FullScrape.sh. Je retenterais quand ces points seront fixé ! Quoi qu'il en soit, merci pour le taf accompli et celui à venir !

                                            "Be CoOl, KeEp CoOl, HaVe FuN !"

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            92
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com