Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    481179
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • jules59
      jules59 last edited by

      En tout cas, chapeau l'artiste , j'aimerais savoir faire ce que tu fais !!! Bonne soirée

      1 Reply Last reply Reply Quote 0
      • supernature2k
        supernature2k last edited by

        Hi @screech, J'ai eu deux petits problèmes avec ton soft: - Le mode ajout ne m'ajoute pas les nouvelles roms trouvé au gamelist.xml - J'ai un jeu qui existe sur screenscraper mais qui n'a pas été trouvé en mode nom de rom+système. Je sais pourquoi, c'est parce que sur le site, les 2 roms répértoriées sont en .7z : link J'ai du ruser en modifiant le code mais peut-être as tu une idée pour que ça passe?

        Pi powered NES | Gameboy HD | RecalStation | RecalDrive
        Upvote messages if it has been useful ;)

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          Arg... Effectivement, comme je convertis (pour la recherche par nom) le nom du fichier en .zip, il zap les fichiers en .7z Il faut que je vois comment faire (rajouter encore une requête API ç va commencer à faire beaucoup de requête 😞 c'est pas cool pour Screenscraper)

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • lestatrico
            lestatrico last edited by

            salut screech, J'ai un petit souci avec le soft, il y a des répertoires que je n'arrive pas a scrapper en reseau et en direct sur mon pc. Je lance le programme, je lui dit quel répertoire scanné, il commence le travail, mais arrivez a un certains moment, le programme ne réponds pas... J'ai teste âpres conseil en direct sur mon pc, même résultat, il n'arrive pas a terminer le scrappe et plante. Je ne sais plus quoi essayé pour que cela fonctionne, il ne me reste que le dossier FBA, le dossier MAME, et le dossier WonderColor pour terminer le scrapping, et ca fait plus d'une semaine que je galère a essayer de trouver la bonne méthode, mais rien n'y fait. Pour le dossier de la WonderColor, le souci est différent, et je t'avoue ne pas m’être penché dessus pour le moment, mais pour ce dossier, le scrapping se passe bien, sauf qu'a la fin il me dit qu'il n'a pas trouve de jaquettes etc, 0/92, mais pas de message d'erreur et pas de plantage pour cet émulateur. En espérant que tu puisse m'aider a comprendre ou le bas blesse, je te souhaite une bonne journée 🙂

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              Hello @lestatrico Alors j’étais sur le site Screenscraper cette après midi (mise à jour de la Gamegear ^^ je me rapproche petit à petit du 100% ^^) et j'ai eu quelques ralentissement. Il est possible que ce soit du à un Time Out (c’était toi qui faisait ramer le site 😉 !!! ) c'est vrai que c'est un point que je n'ai pas géré dans le scrape. Il faudrait retenter pour voir ? Sinon, tu passes dans le fichier UXS-config.ini et tu mets verbose=2 Cela va ralentir le scrape mais générera un fichier log plus complet. Si ça plante encore, tu post le fichier log ici pour que je vois ou ça s’arrête et que je check 😉 Sinon, concernant la WonderSwan Color, tu as bien un romset No Intro ? Il est possible que ce soit ça qui bloque. C'est une "petit" système et il est possible qu'aucune rom ne soit reconnue à cause de ça. Regarde si tu as un fichier missing.txt dans le répertoire de scrape et tu me copie/colle une ou deux ligne histoire que je check pourquoi il trouve rien 😉 Bon courage

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • lestatrico
                lestatrico last edited by

                Merci pour ta réponse rapide, la mienne l'est moins ^^ J'ai mit verdose=2 et plus de souci jusque la, il me reste mame a tester, mais je ferai ca demain, il est tard. Je te tiens au courant et merci encore. Bonne soirée

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  Repasse le à 1 (voir à 0) Explication : Verbose = 0 pas de log Verbose = 1 log light Verbose = 2 log complet (qui du coup ralentie pas mal le scrape) Si tu n'as pas eu de problème lors du nouveau scrape, cela confirme surement les problèmes d'expirations de délais sur le site 😉

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Hop une nouvelle release v1.3.0.7 Il y avait un bug lorsque la 1ere rom n’était pas trouvé... Il ne mettait rien dans le fichier XML malgré un scrape correct d'autre Roms

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • lestatrico
                      lestatrico last edited by

                      Salut Screech, Pour commencer, merci pour la nouvelle release 🙂 Je n'ai pas eu trop de temps aujourd'hui, et viens juste de rentrer, j'ai lancer il y a quelques minutes le scrap du répertoire mame, et pour le moment, ca scrappe correctement, je viens éditer mon message des que celui ci est terminé pour te tenir au courant, mais comme tu l'a dit, il est fort possible que les bugs soit lié au site. je vais remettre verdose a 1 après ce scrap et je ferai quelques essai voir ce que ca donne et je te ferai mon rapport ;).

                      1 Reply Last reply Reply Quote 0
                      • lestatrico
                        lestatrico last edited by

                        Bon bah désolé screech, je ne sais pas ce qui se passe, je n'arrive pas a éditer mon post d'une part, et de l'autre, meme quand je refait un post et que je tente de poster mon fichier log.txt, cela échoue, mon message ne se poste pas. Cela fait déja deux fois ou mon message s'en va dans les nuages. Je ne vois pas comment faire pour t'envoyer mon log, car le scrap du fichier mame a planté a 2375/2555... c'est con ^^' Si tu as une idée de comment je dois faire pour pouvoir te poster mon log.txt (9 Mo au passage donc il doit passer), je suis preneur.

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          Tu peux le zipper et me l'envoyer à screech @ free.fr (sans les espaces 😉 ) je regarderais ça 😉

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • acris
                            acris last edited by

                            Bonjour pour poster des contenus de texte soit directement dans un sujet soit en utilisant le site pastebin.com

                            1 Reply Last reply Reply Quote 0
                            • lestatrico
                              lestatrico last edited by

                              Merci acris, jai testé aussi par pastebin, mais mon fichier est trop gros et il me demande de créer un compte pro. Le fichier est envoyé a screech, on va attendre l'avis du medecin :p.

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by screech

                                Hello
                                @lestatrico J'ai regardé ton log et le plantage à lieu au moment de récupérer les données sur le site screenscraper pour le jeu ucops.zip.
                                J'ai chécké, le jeu existe bien, bon pas ton CRC mais il aurait du le trouver via la requête sur le nom du fichier (parce que lui existe bien).
                                Je confirme donc qu'il s'agit d'un Time Out...

                                ça ne m’étais encore jamais arrivé et du coup, je ne sais pas trop comment réagis le logiciel.

                                Je vais essayer de mettre des verrous la dessus pour ne pas que ça plante.

                                Juste pour mon info, le soft te dit quoi ? Il y a un message d'erreur ? Il reste figé ? Il disparaît ?

                                Je reviens rapidement avec une version corrigé 😉

                                (Pour info, si le logiciel ne plante pas mais te génère un XML "partiel" avec juste les premiers jeux, ne relance pas un full scrape, tu vas dans la config et tu coche "Ajout de Rom" dans la configuration. Il n'ajoutera que les roms manquantes 😉 )

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • lestatrico
                                  lestatrico last edited by

                                  Salut screech, A propos du message d'erreur, il n'y en pas vraiment, c'est le programme qui se fige, et quand on cherche a le réveiller, il met "universal scrapper ne réponds pas" et je n'ai pas d'autre choix que de forcer la fermeture du programme par le gestionnaire de tache. Je ne te cache pas que j'ai pas vérifier si le .xml était généré mais je ne pense pas car quand je voulais vérifier, la liste apparaissait comme avant, mais merci pour l'info "ajout de rom", ca va surement me servir. Sinon j'ai retenter le scrap plusieurs fois hier, et cela a fonctionné, j'ai enfin mon scrap de jeux Mame et c'était le dernier qui me manquait. Merci Screech en tout cas pour ces petits programmes qui nous font gagner un temps fou et si je peux aider ou faire quelques test, n'hésite pas 🙂

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by screech

                                    Et voila, j'ai ajouté un gestionnaire de timeout.
                                    Du coup, maintenant si c'est ça, ça ne plantera plus logiciel (équivalent à un annuler encours de route donc les rom scrapées seront bien présente dans le fichier XML, il suffira de relancer le scrape en mode "ajout de nouvelle Rom" pour qu'il continue) et surtout ça affichera un petit message pour prévenir du Timeout 😉

                                    V1.3.0.8

                                    Hésite pas à re-tester @lestatrico 😉

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • lestatrico
                                      lestatrico last edited by

                                      Je télécharge ca direct, et je ferai quelques test en debut de semaine prochaine, vu le temps qu'il fait, Ce week end c'est camping. Merci encore Screech

                                      1 Reply Last reply Reply Quote 0
                                      • supernature2k
                                        supernature2k last edited by

                                        Hi @screech, Tu as corrigé le bug du mode ajout de rom dans cette version? Et j'ai trouvé un nouveau pb entre ton soft et screenscraper... les .rar 🙂

                                        Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                        Upvote messages if it has been useful ;)

                                        1 Reply Last reply Reply Quote 0
                                        • acris
                                          acris last edited by

                                          *.rar ne sont pas pris en charge sous recalbox. Il est préférable d utiliser zip

                                          1 Reply Last reply Reply Quote 0
                                          • voljega
                                            voljega Banned last edited by

                                            Bon pour ma part j'essaye de repartir sur la nouvelle version avec les mêmes paramètres que précédents (cover only, pas de mix mode, anglais si possible) en espérant profiter des améliorations sur la recherche par nom et non plus par CRC uniquement. J'ai modifié le nouveau config.ini en inversant element 10 et 11 dans le profil Recalbox V4 et j'ai modifié les paths uniquement dans la dernière cible du fichier last use. ça donne donc : [ScreenScraper-Recalbox v4] $PATHAUTOCONF_PathRom    =\RECALBOX\share\roms $PATHAUTOCONF_PathRomSub=./ $PATHAUTOCONF_PathNew    =gamelist.xml $PATHAUTOCONF_PathImage    =downloaded_images $PATHAUTOCONF_PathImageSub=./downloaded_images/ $ExtImage        =jpg $OPTION_MAJ        =1 $IMAGE_SOURCE        = 'Screenscraper.jpg' $IMAGE_CIBLE        = 'RecalboxV4.jpg' $ELEMENT_1         = 'gameList|root|Data|root' $ELEMENT_2         = 'game|child|jeu|child' $ELEMENT_3         = 'id|attr:game|id|value' $ELEMENT_4         = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5         = 'path|value|%RomPath%|variable' $ELEMENT_6         = 'emulator|value' $ELEMENT_7         = 'core|value' $ELEMENT_8         = 'name|value|nom|value' $ELEMENT_9         = 'desc|value|synopsis/synopsis_%%|value' $ELEMENT_10         = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image' $ELEMENT_11         = 'image|path:image|medias/media_screenshot|path:image' $ELEMENT_12        = 'thumbnail|value' $ELEMENT_13        = 'rating|value100|note|value' $ELEMENT_14        = 'releasedate|value|dates/france|value' $ELEMENT_15        = 'releasedate|value|dates/europe|value' $ELEMENT_16        = 'releasedate|value|dates/usa|value' $ELEMENT_17        = 'releasedate|value|dates/japon|value' $ELEMENT_18        = 'developer|value|developpeur|value' $ELEMENT_19        = 'publisher|value|editeur|value' $ELEMENT_20        = 'genre|value|genres/genre|value' $ELEMENT_21        = 'players|value|joueurs|value' $ELEMENT_22        = 'favorite|value' $ELEMENT_23        = 'region|value' $ELEMENT_24        = 'romtype|value' $ELEMENT_25        = 'hidden|value' $ELEMENT_26        = 'playcount|value' $ELEMENT_27        = 'lastplayed|value' $ELEMENT_28        = 'crc32|value|%crc32%|variable' $ELEMENT_29        = 'md5|value|%md5%|variable' $ELEMENT_30        = 'sha1|value|%sha1%|variable' et [LAST_USE] $PathRom        =C:\Temp\Prov\recalboxroms\Atari - Lynx\ $PathRomSub        =./ $PathNew        =C:\Temp\Prov\recalboxroms\Atari - Lynx\gamelist.xml $PathImage        =C:\Temp\Prov\recalboxroms\Atari - Lynx\downloaded_images\ $PathImageSub    =./downloaded_images/ $No_Profil        =1 $user_lang        =0409 $HauteurImage        = $LargeurImage        = $EmptyRom        =0 $ScrapeMode        =0 $Autoconf_Use        =0 $MixImage        =Standard (3img)   Mes répertoires de roms sont donc en local (je dis ça parce que le profile semble référencer un chemin réseau), je veux scrapper uniquement le set Lynx no intro, et je n'ai pas activé l'auto conf dans le menu correspondant Après avoir choisi le profil V4 et lancer la détection des systèmes j'ai un gros crash avec l'erreur suivante  : Line 19421 dans Universal_XML_Scraper64.exe Error : Subscript used on non-accessible variable

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            102
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com