Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    481008
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • lestatrico
      lestatrico last edited by

      Salut screech, A propos du message d'erreur, il n'y en pas vraiment, c'est le programme qui se fige, et quand on cherche a le réveiller, il met "universal scrapper ne réponds pas" et je n'ai pas d'autre choix que de forcer la fermeture du programme par le gestionnaire de tache. Je ne te cache pas que j'ai pas vérifier si le .xml était généré mais je ne pense pas car quand je voulais vérifier, la liste apparaissait comme avant, mais merci pour l'info "ajout de rom", ca va surement me servir. Sinon j'ai retenter le scrap plusieurs fois hier, et cela a fonctionné, j'ai enfin mon scrap de jeux Mame et c'était le dernier qui me manquait. Merci Screech en tout cas pour ces petits programmes qui nous font gagner un temps fou et si je peux aider ou faire quelques test, n'hésite pas 🙂

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by screech

        Et voila, j'ai ajouté un gestionnaire de timeout.
        Du coup, maintenant si c'est ça, ça ne plantera plus logiciel (équivalent à un annuler encours de route donc les rom scrapées seront bien présente dans le fichier XML, il suffira de relancer le scrape en mode "ajout de nouvelle Rom" pour qu'il continue) et surtout ça affichera un petit message pour prévenir du Timeout 😉

        V1.3.0.8

        Hésite pas à re-tester @lestatrico 😉

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        1 Reply Last reply Reply Quote 0
        • lestatrico
          lestatrico last edited by

          Je télécharge ca direct, et je ferai quelques test en debut de semaine prochaine, vu le temps qu'il fait, Ce week end c'est camping. Merci encore Screech

          1 Reply Last reply Reply Quote 0
          • supernature2k
            supernature2k last edited by

            Hi @screech, Tu as corrigé le bug du mode ajout de rom dans cette version? Et j'ai trouvé un nouveau pb entre ton soft et screenscraper... les .rar 🙂

            Pi powered NES | Gameboy HD | RecalStation | RecalDrive
            Upvote messages if it has been useful ;)

            1 Reply Last reply Reply Quote 0
            • acris
              acris last edited by

              *.rar ne sont pas pris en charge sous recalbox. Il est préférable d utiliser zip

              1 Reply Last reply Reply Quote 0
              • voljega
                voljega Banned last edited by

                Bon pour ma part j'essaye de repartir sur la nouvelle version avec les mêmes paramètres que précédents (cover only, pas de mix mode, anglais si possible) en espérant profiter des améliorations sur la recherche par nom et non plus par CRC uniquement. J'ai modifié le nouveau config.ini en inversant element 10 et 11 dans le profil Recalbox V4 et j'ai modifié les paths uniquement dans la dernière cible du fichier last use. ça donne donc : [ScreenScraper-Recalbox v4] $PATHAUTOCONF_PathRom    =\RECALBOX\share\roms $PATHAUTOCONF_PathRomSub=./ $PATHAUTOCONF_PathNew    =gamelist.xml $PATHAUTOCONF_PathImage    =downloaded_images $PATHAUTOCONF_PathImageSub=./downloaded_images/ $ExtImage        =jpg $OPTION_MAJ        =1 $IMAGE_SOURCE        = 'Screenscraper.jpg' $IMAGE_CIBLE        = 'RecalboxV4.jpg' $ELEMENT_1         = 'gameList|root|Data|root' $ELEMENT_2         = 'game|child|jeu|child' $ELEMENT_3         = 'id|attr:game|id|value' $ELEMENT_4         = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5         = 'path|value|%RomPath%|variable' $ELEMENT_6         = 'emulator|value' $ELEMENT_7         = 'core|value' $ELEMENT_8         = 'name|value|nom|value' $ELEMENT_9         = 'desc|value|synopsis/synopsis_%%|value' $ELEMENT_10         = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image' $ELEMENT_11         = 'image|path:image|medias/media_screenshot|path:image' $ELEMENT_12        = 'thumbnail|value' $ELEMENT_13        = 'rating|value100|note|value' $ELEMENT_14        = 'releasedate|value|dates/france|value' $ELEMENT_15        = 'releasedate|value|dates/europe|value' $ELEMENT_16        = 'releasedate|value|dates/usa|value' $ELEMENT_17        = 'releasedate|value|dates/japon|value' $ELEMENT_18        = 'developer|value|developpeur|value' $ELEMENT_19        = 'publisher|value|editeur|value' $ELEMENT_20        = 'genre|value|genres/genre|value' $ELEMENT_21        = 'players|value|joueurs|value' $ELEMENT_22        = 'favorite|value' $ELEMENT_23        = 'region|value' $ELEMENT_24        = 'romtype|value' $ELEMENT_25        = 'hidden|value' $ELEMENT_26        = 'playcount|value' $ELEMENT_27        = 'lastplayed|value' $ELEMENT_28        = 'crc32|value|%crc32%|variable' $ELEMENT_29        = 'md5|value|%md5%|variable' $ELEMENT_30        = 'sha1|value|%sha1%|variable' et [LAST_USE] $PathRom        =C:\Temp\Prov\recalboxroms\Atari - Lynx\ $PathRomSub        =./ $PathNew        =C:\Temp\Prov\recalboxroms\Atari - Lynx\gamelist.xml $PathImage        =C:\Temp\Prov\recalboxroms\Atari - Lynx\downloaded_images\ $PathImageSub    =./downloaded_images/ $No_Profil        =1 $user_lang        =0409 $HauteurImage        = $LargeurImage        = $EmptyRom        =0 $ScrapeMode        =0 $Autoconf_Use        =0 $MixImage        =Standard (3img)   Mes répertoires de roms sont donc en local (je dis ça parce que le profile semble référencer un chemin réseau), je veux scrapper uniquement le set Lynx no intro, et je n'ai pas activé l'auto conf dans le menu correspondant Après avoir choisi le profil V4 et lancer la détection des systèmes j'ai un gros crash avec l'erreur suivante  : Line 19421 dans Universal_XML_Scraper64.exe Error : Subscript used on non-accessible variable

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by screech

                  Hello,

                  @voljega : Alors c'est super bizarre, parce que j'ai fait exactement la même chose que toi (inversion des lignes 10 et 11)
                  j'ai même créé un répertoire en local avec quelques roms dedans que j'ai appelé "Atari – Lynx".
                  Je lui ai collé quelques roms (bon de Game gear parce que j'avais que ça sous la main ^^)
                  Et aucun problème, c'est passé tout seul...

                  Pourrais tu me donner la fin de ton fichier log (les 2 / 3 dernières lignes) ou même le fichier complet que je vois ou ça plante histoire que je comprenne pourquoi.
                  (même si tu peux le passer en verbose = 2 pour que le fichier soit plus complet)

                  Infos bonux, tes Roms sont en quels extension ? (Pour info, les fichiers *.txt *.dv *.fs *.xor *.drv *.dat *.nv sont ignorés)

                  @Supernature2k (et @Acris) : Je suppose que tu parles des roms sur screenscraper qui sont référencé en .rar (pas les tiennes 😉 ) du coup ma recherche par nom de fichier qui transforme en .zip est pas top 😉
                  Je n'ai pas d'idée pour corriger le problème (hormis rajouter encore des requêtes API (en .rar, .7z, etc...) qui vont alourdir le soft et le site).
                  Je vais plutôt essayer de voir du coté de MarbleMad, s'il peut modifier le fonctionnement de l'API pour qu'il fasse une recherche du nom de fichier "sans extension".
                  C'est pas gagné (Marble est pas mal occupé en ce moment et c'est l'été ^^)
                  Donc à voir 😉 je vous tiens au courant 😄
                  @lestatrico : Hésite pas à me tenir au courant 😉 (Parce que je n'ai pas réussi à obtenir de vrai expiration de délais je n'ai pu que en simuler en faisant une pause après le dl du fichier XML et en le supprimant ^^)

                  Question subsidiaire aux utilisateurs :
                  En fait, ça m'ennuis un peu (déformation professionnelle) de ne pas avoir de retour statistique (peu de retour malgré 1,392 téléchargements :S Merci à vous d’ailleurs ^^)
                  A votre avis, cela serait il gênant si en fin de scrape, j'alimente une base de donnée MySQL avec le résultat du scrape ?

                  Ce que je compte y stocker :

                  • Version d'UXS
                  • Nom du Profil utilisé
                  • Système scrapé
                  • Annulé/en Erreur(TimeOut)/finit normalement
                  • Nombre de fichier scrapé
                  • Nombre de fichier trouvé
                  • Nombre d'image downloadée.
                  • Potentiellement IP Publique du PC qui Scrape pour identifier le nombre réel d'utilisateur (bon c'est le seul élément à peu prêt fiable que j'ai trouvé pour identifier ce nombre. Même si avec une IP Dynamique ce ne sera pas si précis que ça. Et je n'ai pas envie de forcer la création d'un compte.)

                  L'idée serait après de faire une petite page Web pour afficher le résultat statistique en libre accès.
                  De toutes façon, le code sera toujours dispos sur Github et vous pourrez voir en live le contenue des requêtes (d'ailleurs par contre, il faut que je crypte le MDP de la base MySQL :S pour ne pas que ça apparaisse sur github je ne sais pas comment on fait ça ^^)
                  L'idée, c'est vraiment juste d'avoir un retour assez précis sans que ça deviennent un soft considéré comme une vérole qui vous pompe votre vie privé ^^ (Je m'appel pas google non plus ^^)

                  Du coup, je vous pose la question à vous utilisateur (bon on peut pas faire de sondage sur ce forum ^^):
                  Que pensez vous d'avoir des données statistique sur l'utilisation de UXS :

                  1. C'est inadmissible et ma vie privé alors !! (je n'ai pas envie que tout le monde sache que je n'ai que 2 jeux sur gameboy)
                  2. Je m'en fout royal fait ce que tu veux
                  3. C'est une excellente idée et ça m’intéresse aussi
                  4. Attention sa pourrait être mal vu...
                  5. La réponse 5

                  Merci à vous qui contribuez à faire avancer le soft 😉

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • supernature2k
                    supernature2k last edited by

                    Hi @screech Clairement si tu fait une requête pour chaque extension possible, ça va faire lourd 🙂 J'ai vu des .bin,.iso etc sur screenscraper. N'y a t'il pas moyen que l'API renvoie/check uniquement le nom avant l'extension? (genre fonction trimright ou que sais-je) Question complémentaire, comment fait on pour rajouter une rom sur une fiche de jeu sur screenscraper? J'ai pas trouvé 😕 Et enfin pour ton sondage, je réponds 3,4 et obi-wan kenobi 😉

                    Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                    Upvote messages if it has been useful ;)

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by screech

                      C'est exactement ce que je compte demander à Marblemad 😉
                      Pour ajouter des roms, tu peux prendre le fichier "Missing.txt" et l'envoyer à Marblemad (depuis le forum Screenzone) pour qu'il les rajoutes 😉
                      (Au pire du pire, tu me l'envois et je ferais suivre ^^)
                      Réponse noté 😉

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by screech

                        @Supernature2k C'est fait !!! Marblemad est trop efficace ^^ sitôt la demande faite sitôt c'est modifié ^^
                        Du coup j'ai refait une version 😄

                        Maintenant lors de la recherche par nomdefichier, on ne s'encombre plus de l'extension ^^ un fichier rom en local en .7z pourra être trouvé en .iso sur le site screenscraper sans problème 😉

                        Je te laisse tester : V1.3.0.9

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • supernature2k
                          supernature2k last edited by

                          Alors là... Je suis sur le cul 😄 Merci @screech et @marblemad Testé et approuvé (avec .rar en l'occurrence) Ah et je n'ai plus le problème en mode ajout de rom donc double congrats! Maintenant reste plus qu'à alimenter la base. J'essaie mais j'avoue avoir du mal 😕 Manque de tutos.

                          Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                          Upvote messages if it has been useful ;)

                          1 Reply Last reply Reply Quote 0
                          • acris
                            acris last edited by

                            Vectrex aucune trouvé

                            Armor Attack (1982).vec                                             B7510971            4 096    13:00.00 2002-12-31
                            Bedlam (1983).vec                                                   A2FA649B            4 096    15:00.00 2002-12-31
                            Berzerk (1982).vec                                                  EAFE2455            4 096    15:00.00 2002-12-31
                            Blitz! - Action Football (1982).vec                                 881B27C5            8 192    15:00.00 2002-12-31
                            Cosmic Chasm (1982).vec                                             6C1AFA52            4 096    19:38.00 1988-11-07
                            Fortress of Narzod (1982).vec                                       13A35C8A            8 192    15:00.00 2002-12-31
                            Hyperchase (1982).vec                                               4BB13472            4 096    19:38.00 1988-11-07
                            Mine Storm (1982).vec                                               BA13FB57            8 192    07:31.00 2016-07-13
                            Polar Rescue (1983).vec                                             A7471784            8 192    11:38.00 1988-11-07
                            Pole Position (1982).vec                                            A00ED3D6            8 192    15:00.00 2002-12-31
                            Rip-Off (1982).vec                                                  34A98132            4 096    15:00.00 2002-12-31
                            Solar Quest (1982).vec                                              5C4611C8            4 096    15:00.00 2002-12-31
                            Space Wars (1982).vec                                               A3BE5AFF            4 096    15:00.00 2002-12-31
                            Spike (1983).vec                                                    62A61843            8 192    15:00.00 2002-12-31
                            Web Wars (1983).vec                                                 2EE20103            8 192    15:00.00 2002-12-31
                            
                            1 Reply Last reply Reply Quote 0
                            • courte
                              courte last edited by

                              Merçi pour ta derniere maj, je te verrais un retour concernant les dates de sorties dont on avait parlé. @SupernatureK: Tu est le bienvenue pour alimenté la base !! je te suggère d'aller faire un tour sur ce topic: http://www.screenzone.fr/forum/viewtopic.php?f=434&t=797 Mais si tu as besoin d'un truc ou autre demande moi, je suis moderateur sur Screenscraper et j'alimente la base de donnée depuis sa sortie donc je connais très bien le site et jte cache pas qu'on a besoin d'aide car il y beaucoup de taf et tout le monde est bienvenue ^^

                              1 Reply Last reply Reply Quote 0
                              • voljega
                                voljega Banned last edited by

                                @Screech Bon après installation de la version d'aujourd'hui et récupération des parties de mon ini intéressantes ça marche sans problème, chelou mais pas la peine de se prendre la tête donc ^^ Par contre j'ai de nouveau toutes les infos en majuscule c'est où que ça se règle ça déjà ? Pour la collecte des infos ça ne me gène pas mais je pense qu'il faut que tu mettes un disclaimer au premier lancement et que tu autorises l'utilisateur à accepter ou non.

                                1 Reply Last reply Reply Quote 0
                                • supernature2k
                                  supernature2k last edited by

                                  @voljega, menu Edition>Configuration, tu décoches Majuscule en bas à droite 🙂 @courte, et bien par exemple tout con, j'ai ajouté des infos pour crash bandicoot sur PSX mais je ne sais pas comment ajouter le nom de rom/hash (d'ailleurs faut que je trouve comment récupérer le hash d'un fichier). screech m'a proposé de lui envoyer les infos ou bien à marblemad. Peut être faut il des droits spéciaux pour le faire? @acris, renommes tes roms, la recherche par nom cherche le nom EXACT. Essaie par exemple de renommer Bedlam (1983).vec en Bedlam (USA, Europe).vec

                                  Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                  Upvote messages if it has been useful ;)

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by screech

                                    Pour @Acris : Effectivement ^^ tu cherches aussi 😛
                                    ils sont en .vec (donc pas compressé donc impossible à trouver via le CRC) et ils ont était renommé (donc impossible à retrouver par le nom de la rom)
                                    Je vais te faire gagner du temps ^^ voici comment doivent s'appeler tes fichiers pour être scrapé (en plus j'avais complété le système Vectrex ^^ normalement tu auras un full scrape 😄 )

                                    Armor Attack (1982).vec -> Armor..Attack (World).vec
                                    Bedlam (1983).vec -> Bedlam (USA, Europe).vec
                                    Berzerk (1982).vec -> Berzerk (World).vec
                                    Blitz! - Action Football (1982).vec -> Blitz! - Action Football (USA, Europe) (0F11CE0C).vec
                                    Cosmic Chasm (1982).vec -> Cosmic Chasm (World).vec
                                    Fortress of Narzod (1982).vec -> Fortress of Narzod (USA, Europe).vec
                                    Hyperchase (1982).vec -> HyperChase - Auto Race (World).vec
                                    Mine Storm (1982).vec -> Mine Storm (World).vec
                                    Polar Rescue (1983).vec -> Polar Rescue (USA).vec
                                    Pole Position (1982).vec -> Pole Position (USA) (A00ED3D6).vec
                                    Rip-Off (1982).vec -> Rip Off (World).vec
                                    Solar Quest (1982).vec -> Solar Quest (World).vec
                                    Space Wars (1982).vec -> Space Wars (World).vec
                                    Spike (1983).vec -> Spike (USA, Europe).vec
                                    Web Wars (1983).vec -> WebWars (USA).vec
                                    

                                    @Voljega : C'est ça ^^ @Supernature2k va pouvoir faire ma hotline bientôt ^^

                                    @Supernature2k concernant les roms/hash manquante sur Screenscraper, normalement, lorsque tu lance un scraper avec UXS, tu as un fichier missing.txt qui apparaît dans le répertoire scrappé.

                                    Ce fichier contient : le nom du fichier de la rom, sa taille en octets, son Hash en CRC32 et sa date de dernière modif 😉

                                    C'est ce fichier qu'il faut envoyer à MarbleMad pour qu'il les ajoute 😉 C'est effectivement, une des rares choses qu'on ne peut pas faire directement 😉

                                    (Merci d'assurer le service après vente pendant mes absences ^^ )

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • supernature2k
                                      supernature2k last edited by

                                      Pas de soucis @screech, c'est que je commence à bien le connaitre ton soft 😄 Je vais voir pour créer un listing de roms manquantes. Où puis-je envoyer ça?

                                      Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                      Upvote messages if it has been useful ;)

                                      1 Reply Last reply Reply Quote 0
                                      • voljega
                                        voljega Banned last edited by

                                        Sinon @Acris ne t'embête pas avec le renommage, le set no intro Vectrex se scrappe tout nickel avec UXS

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          @Supernature2k je viens de demander à Marblemad comment il souhaite procéder 😉 je te tiens au courant 😉

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • acris
                                            acris last edited by

                                            @screech Je pensai kil aurait fait une recherche sur les 1ers mots avant la.parenthese. Cependant je viens de recuperer le set nointro et je narrivr pas à la scrapper. Jai un message d erreur line19421 Error subscript used on non acessible variable. Jai testé les 2 dernieres versions. @voljega jai recupere les autres roms nommées ainsi.

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            88
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com