Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    481203
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • voljega
      voljega Banned last edited by

      @Arcademy mais il y a bien eu un changement du coup ? parce que ça marchait avant...

      1 Reply Last reply Reply Quote 0
      • voljega
        voljega Banned last edited by

        bon j'ai essayé en changeant les 4 paths avec toutes les combinaisons possibles de D majuscules : ‘image|path:image|medias/media_boxs/media_boxs2D/media_box2D_eu|path:image’ ‘image|path:image|medias/media_boxs/media_boxs2d/media_box2D_eu|path:image’ ‘image|path:image|medias/media_boxs/media_boxs2D/media_box2d_eu|path:image’ aucun ne marche, je n'ai toujours que des screenshots

        1 Reply Last reply Reply Quote 0
        • olivier-bazin
          olivier-bazin last edited by

          Bonjour,   Est-ce normal que sur un set Mame 2003 d'environ 700 roms, le soft ne me trouve qu'une centaine de sreenshoots ?   Merci

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            Hello, désolé de ne pas avoir répondu plus tôt 😉 @Voljega : Je rencontre le même problème que toi, toutes les demandes de media ne me retournent que des screenshot (quel-qu’ils soient : box 2D /3D, wheels, etc...) Je viens d'avertir @Arcademy / MarbleMad sur le forum de Screenzone (sans pub inside ^^) @BaZino : Effectivement, le site de screenscraper est toujours en cours d'alimentation, tous les screenshots (ou autres informations) ne sont pas encore présent, mais les bénévoles qui travail dessus ajoutent des centaines (milliers ?) d'informations quotidiennement.. N’hésite pas à venir participer pour améliorer encore la base de données pour le bien de tous 😉

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • john-rimbaud
              john-rimbaud last edited by

              drap ^^

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                @Voljega c'est bon c'est corrigé 😉 ça devrait remarcher correctement maintenant 😉

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • voljega
                  voljega Banned last edited by

                  Cool je reessaierai ce soir du coup il faut un ou plusieurs D majuscules ou pas ? 😄

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Normalement la version de base re fonctionne correctement 😉

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • rockaddicted
                      rockaddicted last edited by

                      @arcadmy

                      Si ça dérange, je peut aussi m’abstenir de répondre au demande de la communauté RB sur votre Forum !

                      Haha bien entendu je plaisantais marblemad 😉 J'invite d'ailleurs chaque utilisateur de recalbox à contribuer au projet screen-scraper afin d'étoffer la DB!

                      Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                      Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                      Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                      Don't forget to upvote messages if it has been useful ;)

                      1 Reply Last reply Reply Quote 0
                      • john-rimbaud
                        john-rimbaud last edited by

                        Je viens d'essayer, c'est toujours un screenshot qui est télécharger (en config de base).

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          Oui, la config de base télécharge les screenshot, mais tu as tout ici : pour changer le media téléchargé : WIKI

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • john-rimbaud
                            john-rimbaud last edited by

                            Suite à la modif, le fichier ini est ok mais dès que je lance le scrapper, le fichier reviens dans son état de base (sans mes changements donc... 😕 Etrange...   EDIT : en lecture seule, ça à l'air de le faire ^^ Merci à toi ^^

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              En toute logique, le fichier ini n'est "écrasé" que dans le cas d'une nouvelle version (parce que des modifications peuvent avoir lieu sur les profils d'une version à l'autre) Tu me confirme que tu as la dernière version et que tout au début du fichier tu as bien le tag suivant : [GENERAL] $verINI = '1.0.0.8' Si ce n'est pas le cas, ajoute le 😉 (mais normalement, si tu as la dernière version, il devrait l'ajouter tout seul après avoir mis à jour ton fichier ini.)

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • john-rimbaud
                                john-rimbaud last edited by

                                J'ai bien ceci: [GENERAL] $verINI = '1.0.0.8' Verbose = 1   Par contre, si ça a marché parfaitement pour la snes et la megadrive, il ne reconnait pas mes roms mega cd et gameboy color.

                                1 Reply Last reply Reply Quote 0
                                • jomofcw
                                  jomofcw last edited by

                                  Bonjour à tous ! Tout d'abord, merci @screech pour le soft =). Ça marche niquel ! A un détail prêt : je l'utilise depuis hier et c'est extrêmement lent. De ce que je lis ici et sur IRC ça ne semble pas "normal". Je me décide donc à poster le problème sur ce forum. Le contexte : PC récent (Intel Core I5-4570) sous Windows 10 (à jour), clé USB RecalBox connecté au PC (Sandisk 128Go), connexion Internet via fibre optique (~90Mbps parallèle). Je fais un test sur un de mes plus petit répertoire de ROMs, celui du sega32x. 63 roms traitées avec succès en 2m51s (soit 1 rom toutes les 2,8 secondes environ). Là c'est tout à fait correct au niveau du temps. Je lance le scrapping sur mon répertoire "nes". Là c’est une autre histoire puisqu'il y a 2690 roms à traiter. Les premières ROMs se font sans soucis, à vue de nez par trop plus de 2s par ROM... mais à la longue, ça se détériore... beaucoup. Présentement j'en suis à 508 ROM traitées, et ça met environ 9s par ROM. Sur mon essaie d'hier je suis allé jusqu'à environ 1500 ROMs de mémoire et ça mettait bien plus de 20s par ROM. Au final, le soft a tourné plus de 7H pour faire les 1500 ROMs, je l'ai arrêté manuellement via le bouton stop, les infos des ROMs traitées sont bien dispo, je les vois dans ES. Donc galère :/... Le deuxième "soucis", c'est que je pensais que le soft ne repasserait pas sur les ROMs déjà traitées, mais apparemment si... du coup ça n'en finira jamais ou à défaut ça va mettre clairement des plombes. Donc je ne sais pas trop quoi faire... une idée SVP ? Sachant que j'aimerais bien avoir mon scrapping en FR et que ce soft semble très bien fonctionner chez nombre de personne donc, pourquoi pas chez moi ? Toute aide est la bienvenue, merci d'avance ! ----------------------------------- Evolution du temps pour suivis :

                                  • 508 ROMs traitées : ~9s par ROM;
                                  • 717 ROMs traitées : ~13s par ROM;
                                  • 1027 ROMs traitées : ~22s par ROM; > j'arrête là pour tenter de scrapper depuis le disque dur et non depuis la clé

                                  "Be CoOl, KeEp CoOl, HaVe FuN !"

                                  1 Reply Last reply Reply Quote 0
                                  • voljega
                                    voljega Banned last edited by

                                    Perso je copie colle les roms depuis un répertoire de sauvegarde vers un répertoire de scrape. Je fais le scrape des disons 500 premières, jusqu'à ce que ça devienne trop lent. J'arrête le scrape, j'efface les 500 premières roms et je relance le scrape. Pour la NES j'ai fait trois ou quatre batchs de scrape.... A la fin il suffit d'effacer le contenu du répertoire de scrape sauf gamelist.xml et downloaded_images et de recopier tous les fichiers roms dans le répertoire de scrape depuis le répertoire de sauvegarde...

                                    1 Reply Last reply Reply Quote 0
                                    • jomofcw
                                      jomofcw last edited by

                                      Bon, j'ai tenté de scrapper direct sur disque dur plutôt que sur la clé USB : même résultat, voir pire (du fait que le DD soit sollicité également pour le fonctionnement du PC je pense). En effet, j'étais déjà à prêt de 9s par ROM à la 290ème. @voljega salut ! OK, merci pour la méthode. J'vais tenter ça en attendant mieux... Par contre il y a un truc que je nai pas du saisir... sauf erreur de ma part, le fichier gamelist.xml est reset au début de chaque processus (l'ancien est stocké dans gamelist.xml.old)... donc tu les fusionnes à la main pour pas perdre l'historique ?

                                      "Be CoOl, KeEp CoOl, HaVe FuN !"

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        Bonjour, Effectivement, c'est un problème que je rencontre aussi. A priori, cela vient de l’écriture dans le fichier XML qui, plus il grossit, plus il devient lent. J'utilise des composants "standard" pour la gestion du XML et j'ai l'impression que ça vient d'eux... Je vais voir si je peux optimiser cette partie pour la rendre plus efficace. Concernant le reset du fichier à chaque scrap, c'est dans ma todo list de faire un fonction "append" qui ne ferait que "compléter" un fichier avec les manquants. La problématique vient justement des gros fichiers. Exemple, tu rajoutes 10 roms à un fichier XML qui en contient 2000, il faut tout pa**er pour voir si la rom existe déjà ou pas... Du coup c'est une usine à gaz hyper lente... Il faut que je revois la metodo... Dès que je peux me dégager du temps et me remettre dessus à fond, je m'en occupe promis 😉

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • john-rimbaud
                                          john-rimbaud last edited by

                                          Ton soft marche déjà très bien ^^

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by

                                            Un petit détail 😉 le 'Verbose = 1' ralentie aussi énormément (mais génère un gros fichier de log) Pensez à supprimer la ligne (ou à la passer à 0 ^^)

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            91
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com