Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    404755
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • johnDoe_1
      johnDoe_1 Banned @screech last edited by

      @screech Salut,

      Merci pour tes informations complémentaires, en effet je n'avais pas conscience de tout cet ÉNORME travail derrière ce logiciel ! 🙂 En effet je comprends mieux pourquoi, excuse-moi 🙂

      J'ai essayé la configuration automatique mais sans succès. Mon disque dur externe branché à mon Raspberry, j'ai bien effectué chaque étape comme détaillé dans le tuto en n'oubliant pas d'éteindre Emulationstation (jusque là aucun problème) et au moment où je lance le scrape, le logiciel affiche "récupération automatique de la liste des systèmes" (un truc du style lol) et après j'obtiens "le logiciel ne répond pas". Donc je passe en configuration manuel depuis le pc en branchant le disque dur externe sur l'un de mes ports USB, après ça fait le même boulot mdr

      Je vais essayer cette beta ! 🙂

      Bonne après-midi

      1 Reply Last reply Reply Quote 0
      • johnDoe_1
        johnDoe_1 Banned last edited by johnDoe_1

        Salut,

        @screech j'ai découvert un bug avec ton logiciel, quand il affiche la moindre erreur pendant un scrape et que l'on clique pour faire passer cette erreur, la progression du scrape continue jusqu'à la fin mais en faisant la moitié du scrape. Le logiciel scrape mais uniquement dans le gamelist.xml, il écrit seulement le gamelist.xml avec les descriptions ... etc mais ne s'occupe plus de télécharger les images.

        Je viens de faire le test avec mon dossier Mame, hier il m'a téléchargé 397 images sur plus de 4000 fichiers (j'ai stoppé en cours de route car je me suis douté d'un problème) mais par contre il m'a téléchargé les descriptions de +2000 fichiers sur +2000 fichiers scrapes.

        Exemple :

        J'ai 4832 fichiers, comme j'ai arrêté en cours de route, il m'a scrape que 2778 fichiers, sur ces 2778 fichiers il a trouvé que 2413 descriptions ... etc et uniquement 397 images. Sachant qu'après les 397 images j'ai eu un message d'erreur et après il a scrape pendant +1h sans télécharger une seule autre image mais par contre il a continué à trouver les descriptions ... etc.

        J'ai eu ce bug avec d'autres dossiers du coup je vais devoir tout recommencer :X

        Bon début d'après-midi

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          Arg :S désolé...

          Comme précédement dit, je travail sur la V2 qui ne devrait pas avoir ce type de probleme 😉

          sinon, un conseil, quand tu as ce type d'erreur, annule le scrape en cours, passe en mode "ajout de rom" et relance le scrape 😉

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • johnDoe_1
            johnDoe_1 Banned last edited by

            Salut,

            @screech c'est noté l'ami merci ! 🙂 Ce n'est pas grave, c'est qu'une question de temps, quoi que ton logiciel a déjà apporté un gain de temps incalculable à pas mal de personne ici ! 🙂

            Hâte de voir la v2 ! 😄

            Par contre Bitdefender Total Security 2016 détecte et supprime ton logiciel (logiciel indésirable, menace potentielle)

            Bonne soirée 🙂

            1 Reply Last reply Reply Quote 0
            • NSwitch
              NSwitch last edited by

              Bonjour, tout d'abord merci pour ce logiciel. Je l'ai découvert il y a quelques jours en meme temps que mon raspberry3 et c'est très utile et magnifique comme rendu. Une question : est il possible d'afficher un boitier 2D en mode MIX 3 ou 4 images ? J'y arrive sans probleme sur le profil simple mais pas dans ce mode là.

              Merci.

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                Hello @NSwitch

                C'est tout à fait possible, pour cela je t'encourage à regarder le wiki

                En version simple : tu copie le fichier zip correspondant à ton MIX template, tu le renommes, tu l'ouvres, et dedans tu as un fichier config...

                Dans ce fichier config, tu cherches la ligne qui contient la box 3D, et tu remplace en box 2D 😉

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • NSwitch
                  NSwitch last edited by

                  Ca a bien fonctionné ! Merci. Pour vouloir faire cette modification, j'avais regardé sur le UXSconfig à la racine du logiciel et non du coté du dossier zippé MIX (ca paraissait pourtant évident ^^). Thanks.

                  1 Reply Last reply Reply Quote 0
                  • reaver-seven
                    reaver-seven last edited by

                    UXS Freeze constamment lorsque je scrappe la psx, j'ai beau avoir changé toutes les values dans rechsys, rien n'y fait, freeze a "getting list systems" avec l'icone PS1 qui s'affiche.

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by screech

                      @reaver-seven as tu bien la dernière version ? (Attention la dernière version existe en 2 types : normale et "spéciale retropie" ne prend pas la retropie 😉 )

                      Est tu sur qu'il s'agit d'un freeze ? la calcul de hash sur des fichiers de plus de 500Mo peut être très long (UXS calcul 3 types de Hash : CRC32, MD5, et SHA1. Les 2 derniers n’étant pas calculé sur la dernière version dans le cas de gros fichiers pour économiser du temps... Seul le premier étant essentiel)

                      Sinon, si tu as tes fichiers sous forme de cue+bin, essaye de ne scraper que les cue en changeant la ligne suivante dans le UXS-config.ini :

                      $RechFiles = '*.*|*.xml;*.txt;*.dv;*.fs;*.xor;*.drv;*.dat;*.nv;*.cue;*.sav*'
                      en
                      $RechFiles = '*.*|*.xml;*.txt;*.dv;*.fs;*.xor;*.drv;*.dat;*.nv;*.bin;*.sav*'

                      Cela accéléra grandement le processus.

                      Sinon, il te faudra attendre la V2 qui gère ça beaucoup mieux 😉

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • reaver-seven
                        reaver-seven last edited by reaver-seven

                        Alors oui, j'ai l'avant derniere version, en gros.
                        Il y a celle pour retropie, et en dessous "la bonne".
                        Bah ce que je ne comprends pas, selon le log, il calcule Ape Escape.bin, et donc ça met loooongtemps.
                        Alors que pourtant le .bin n'est pas dans la liste"avancée".

                        Donc en gros il faut juste que j'attende même si je suis bloqué sur recuperation de la liste des systemes avec la barre remplie?
                        Etrange, la premiere fois que j'ai scrappé les roms de la psx (une vingtaine) ça n'a pas fait ça, et pas pris autant de temps malgré le fait que j'ai des fichiers au format ISO (FF7 Hardcore Neo Midgar).
                        La j'ai rajouté 40 roms de plus, et ça freeze.

                        C'est ça que je comprends pas en fait, la première fois y a pas eu de soucis, et la bah ça boude.

                        Edit: en modifiant ce que tu me dis, effectivement ça marche du feu de dieu. Tu peux m'expliquer en gros le pourquoi du comment? C'est une liste de fichiers a NE PAS analyser, en gros?

                        Edit2: Effectivement sur les .img et .iso ça a l'air de trainer du zizi.
                        http://pastebin.com/wMwWkjVy

                        1 Reply Last reply Reply Quote 0
                        • jmoose
                          jmoose last edited by

                          is there a way we can scrap from a selected folders that has art work in and make a mix picture?
                          Sometimes you do no get the full effect either logo, or just picture from just scrapping from the websites.
                          thanks in advance

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            @reaver-seven Tout à fait, le mask que je t'ai conseillé de changer scrape les fichiers cue et ignore les bin. (en standard c'est l'inverse) du coup, un cue de quelques ko se hash bcp plus vite 😉

                            @jmoose Sorry, it's not possible. But if you have media who is missing in the MIX, you can upload them to http://www.screenscraper.fr/ so your MIX will be complete at the next scrape, and you are doing a good action to help filling the missing in the database for every user 😉

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • rockmanworld
                              rockmanworld last edited by

                              Bonjour,

                              tout d'abord merci pour ce fabuleux logiciel que j'ai découvert hier ! un régal pour les yeux.

                              J'ai testé pour la nes et il n'en a pas trouve 8. Plutôt pas mal sur 271 ! C'était des roms avec a la fin par exemple : legend of zelda trad fr.nes .

                              J'ai donc triché et remplacé le trad fr par (USA), ca marche ce genre d’astuce ?

                              Et surtout, comment peux t'on juste rescrapper les roms manquantes sans tout refaire.

                              merci 🙂

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                oui ^^ ce genre d'astuce fonctionne 😉

                                l'idée c'est d'avoir une rom avec un CRC ou un NOM de fichier référencé sur Screenscraper 😉

                                Et si tu ne veux pas tout rescraper, tu vas dans le menu "Edition/configuration" et tu te mets en mode "Ajout de rom" 😉

                                Il ne rescrapera que les roms manquante 😉

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • rockmanworld
                                  rockmanworld last edited by rockmanworld

                                  merci bien et que veut dire l'option : non trouvées exactement ? ajout d'entrée vide ?

                                  Sinon en rescrappant toute la nes, il m'a effacé tout ce qu'il y avait avant, alors que mon fichier missing rom est passé à 6.

                                  bizarre 😞

                                  edit : je pense que ca vient du fait que quand j'ai kill emulstation avec putty comme dans le tuto, l'écran n'est pas totalement noir comme d'hab mais il y le logo recalbox en bas...

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    effectivement, un mauvais kill d'Emulationstation peut poser des problèmes 😉

                                    pour l'option "non trouvées" en fait UXS créer une entré (vide) dans le fichier gamelist.xml.
                                    c'est tout ^^

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • rockmanworld
                                      rockmanworld last edited by

                                      merci et encore bravo !

                                      1 Reply Last reply Reply Quote 0
                                      • reaver-seven
                                        reaver-seven last edited by

                                        Au risque d'etre chiant, une fonctionnalité un peu comme FatMatch vis a vis des roms ne serait pas utile pour la V2?
                                        En gros ça consisterai a analyser le nom de notre rom et de celle enregistrée par la database. Et ensuite de laisser l'utilisateur choisir parmis le nom des roms, avec le taux de correspondance.

                                        Exemple si je tape Ehrgeiz en nom de rom, et que dans la database il y a "Ehrgeiz - God bless the ring" cela trouvera une correspondance.
                                        Je sais pas si tu vois ce que j'veux dire. C'est une idée hien, pas un ordre^^

                                        Mais en tout cas, merci pour ton scraper de qualité.

                                        1 Reply Last reply Reply Quote 0
                                        • kevinnash
                                          kevinnash last edited by

                                          Excellente idée à mon humble avis, par exemple les roms snes, toutes celles en Trad FR ou avec trainers ne sont pas reconnues.

                                          Avec un choix manuel, ce serait top ou même directement une recherche possible sur screenscraper sous UXMLS

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by

                                            Hello @reaver-seven et @kevinnash

                                            Alors le "Fatmatch" n'est pas du tout dans l'optique d'UXS et de Screenscraper 😉

                                            On préfère largement une correspondance à 100% pour ne pas retomber dans les erreurs qu'a pu faire TGDB 😉

                                            Pour autant, cela n’empêche pas d'ajouter des roms pour faire du 100% matching sur Screenscraper 😉

                                            On a récemment ajouté pas mal de rom trad ou patché 😉 et si vous avez des roms non référencées sur Screenscraper, n’hésitez pas à m'envoyer vos fichiers missing.txt pour qu'on voit si on peut les ajouter 😉 (un pastbin et un MP et hop 😉 )

                                            Il existe aussi pas mal de roms dites "orpheline" sur Screenscraper qui ne sont pas encore relié à un jeu...
                                            C'est un travail titanesque, et on est peu dessus. Notre amis neogeronimo par exemple a associé pas loin de 11000 roms dernièrement (majoritairement sur amiga et atari)...
                                            Mais il en reste encore malgré un moteur d'autoassociation au poil ^^.

                                            N’hésitez pas à venir participer. En plus les "participants" à Screenscraper seront récompensé sur UXS V2 qui arrive... très très bientot 😉

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            110
                                            Online

                                            97.2k
                                            Users

                                            27.9k
                                            Topics

                                            186.6k
                                            Posts

                                            Copyright © 2021 recalbox.com