Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633188
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Elemiah
      Elemiah @screech last edited by

      @screech D'accord merci beaucoup en tout cas 🙂 il va falloir investir alors,
      comment ça j'ai une vieille bécane 😛

      voljega 1 Reply Last reply Reply Quote 0
      • voljega
        voljega Banned @Elemiah last edited by

        @elemiah tu peux réinstaller W7 sur ta vieille bécane sinon vraisemblablement je l'ai déjà fait pour quelques pcs sous vista, 7 est un poil moins lourd en fait

        aussi rajouter un peu de ram ou changer le dd par un SSD a un effet hyper radical sur les perfs je viens de le faire pour mon pc de dev qui était à l'ouest et ça roule du tonnerre maintenant

        1 Reply Last reply Reply Quote 0
        • Pegoncology
          Pegoncology last edited by Pegoncology

          Bonjour @screech. Malgré 6 threads, depuis 2 jours, j'ai un scrape hyper lent (2h pour 120 eboots PSX). Auparavant j'ai pu faire 1000 roms SNES en 2 minutes. Mon réseau est identique et la connexion rapide.
          Y a-t-il un problème avec le serveur de screenscraper ? Est-ce le fait qu'un eboot fait 400Mo pour 3Mo la rom SNES ? Ou bien j'ai fait une fausse manip...
          Merci pour ton aide

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            la longueur est du au temps de hash :S
            En gros, hasher un fichier de 1 ou 2Mo c'est en ms mais hasher un fichier de 700Mo c'est en minute 😞

            Et sinon, quelques solutions pour accelerer le scrape de gros fichiers : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/ISO-Scrape-Freeze-or-are-very-long

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • Pegoncology
              Pegoncology last edited by

              Merci. En effet le hash est très long. Je vais tester tes astuces. Merci

              1 Reply Last reply Reply Quote 0
              • Pegoncology
                Pegoncology last edited by

                @screech Nouvelle petite question : comment fait-on, via le logiciel, pour qu'en créant le XML, on ait le nom des jeux avec le déterminant à l'arrière. Par exemple "Addams Family, The" au lieu de "The Addams Family" ?
                Est-ce possible ?
                Ou bien on doit créer le XML via Recalbox et faire le scrape des roms manquantes par après via Universal XML Scraper ?
                Merci

                screech 1 Reply Last reply Reply Quote 0
                • screech
                  screech @Pegoncology last edited by

                  @pegoncology pour le moment cette option n'existe pas. Uxs se contente du nom fournit par screenscraper (+ d'éventuels options )

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • Pegoncology
                    Pegoncology last edited by Pegoncology

                    Ok merci.
                    Concernant le scrape PSX (en eboot), j'ai des soucis avec certains jeux. J'ai l'impression que le nom doit être exactement le même que dans la DB de Screenscraper et même pour 2-3 jeux cela ne prend pas. Je suppose que les eboot n'ont pas de CRC et que donc le scrape est difficile.
                    Je suppose aussi que l'ajout de Screenscraper intégré dans la future version de Recalbox va palier le problème pour ces jeux isolés qu'on arrive pas à scraper.

                    1 Reply Last reply Reply Quote 0
                    • Pegoncology
                      Pegoncology last edited by

                      @screech En fait je viens de me rendre compte que c'est peut-être un bug dans le logiciel et la DB de screenscraper. Ca ne concerne que les jeux qui ont un ":" dans le titre.
                      Par exemple, chez moi c'est Lunar 2 - Eternal Blue et dans la DB c'est Lunar 2 : Eternal Blue. Pas de scrape. Idem si je modifie en "Lunar 2 Eternal Blue". En fait il faudrait que le fichier soit écrit avec le : mais le : n'est pas reconnu dans les caractères des fichiers Windows.
                      Y a-t-il une solution ?
                      Ou bien j'ai zappé une option dans le logiciel ?

                      1 Reply Last reply Reply Quote 0
                      • Choum
                        Choum last edited by

                        SI ton jeu ne dispose pas d'un CRC md5 reconnu par screenscrapper,
                        Il suffit de renommer la rom comme l'une des roms reconnus par screenscrapper.
                        Si je prend ton exemple (je suppose PSX)
                        Si tu renommes ton fichier en "Lunar 2 - Eternal Blue Complete" il sera reconnu.

                        1 Reply Last reply Reply Quote 0
                        • Pegoncology
                          Pegoncology last edited by Pegoncology

                          Non justement, il refuse de prendre les - à la place des : et il laisse les jeux comme inconnus.
                          J'ai donc (dans mon set) une vingtaine de roms qu'on ne sait pas scraper. Evidemment en solution de rechange j'utilise le scraper anglais intégré (vu que je suis en 4.0.2)

                          1 Reply Last reply Reply Quote 0
                          • Biblo
                            Biblo Theme moderator last edited by Biblo

                            J'avais eu le problème avec un jeu snes du genre Super_Mario_World et en retirant les _
                            donc: Super Mario World il a réussi à le scraper, essaye plusieurs configuration genre Lunar 2 tout seul etc... ça n'a pas marché pour mon zelda snes toujours pas réussi à récupérer son image 😕

                            En revanche je galère beaucoup avec mes jeux pc engine cd sur 20 il en a scraper 2 et tu ne peux pas modifier le nom sous peine que le jeu ne pourra plus se lancer, cela peut être du au faite que pour certain jeux il faut éditer le nom dans le fichier .cue ??
                            Si quelqu'un a une solution je suis preneur car c'est une de mes console de prédilection:)

                            quoiqu'il en soit Screech félicitation pour ton logiciel.

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              Petit Rappel sur le "comment les jeux sont retrouvé" :

                              En premier lieu UXS "Hash" les fichiers (CRC32, MD5, SHA1).
                              Grace à ce hash, il cherche dans la BDD une rom avec le même Hash (il test les 3 😉 )
                              S'il ne trouve pas, il fait une recherche sur le "nom de fichier" pour voir si une rom dans la BDD à le même "nom de fichier" (sans l'extension).
                              Attention, il s'agit bien d'un matching "nom de fichier" et pas du tout "nom du jeu".

                              Du coup, si malgré cela il ne trouve toujours pas votre rom :

                              • Changez de rom et prenez en une plus "connue" (la votre n'est vraiment pas référencé pour le moment)
                              • Renommez votre Rom comme une rom présente dans la BDD (pour cela ouvrez la fiche du jeu sur Screenscraper, et regarder dans les ROM/ISO listé).

                              Pour information, quand une rom est scrapé par plus de 10 personnes différentes, elle est automatiquement proposé à l'association.
                              Ce qui signifie que si votre Hash n'est pas trouvé, c'est que votre rom, malgré les plus de 2 000 000 de requêtes par jour n'a pas été scrapé plus de 10 fois ^^
                              (Attention, cela ne s'applique pas au rom/iso de plus de 200Mo, pour accélérer le process de scrape, le hash est partiel et ne peut donc pas etre remonté via l'API pour une proposition automatique, il ne fait une recherche que via le MD5 et/ou le nom de fichier)

                              concernant le PC Engine CD, le renommage Bin/cue est possible, mais il faut faire bien attention a ce que les 2 fichiers aient le même nom et que le cue contiennent bien le nouveau nom du bin)

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • Pegoncology
                                Pegoncology last edited by Pegoncology

                                J'avais déjà essayé toutes les solutions proposées sans succès. Je pense que le fait que ce sont d'une part des pbp (eboot) et d'autre part des jeux PSX (moins scrappés à mon avis que les SNES etc) fait qu'en effet, ils ne sont pas reconnus.
                                J'ai tout tenté, changement de nom, rechercher par nom de fichier, rien n'y fait.
                                Par contre le scrape (anglais) intégré le détecte directement.
                                Pour ma part je vais attendre l'intégration de Screenscraper dans la 4.2, ça réglera le problème certainement et je le ferai manuellement via Recalbox.

                                @Biblo oui si tu changes les noms des images CD des fichiers sous Windows, tu dois impérativement ouvrir le cue avec notepad et changer le nom également dedans car le cue redirige vers le bin avec la dénomination exacte. Sinon ton émulateur ne prend pas l'image

                                1 Reply Last reply Reply Quote 0
                                • Biblo
                                  Biblo Theme moderator last edited by Biblo

                                  Merci beaucoup pour votre aide, cela veut dire qu'avec le nom de ce fichier .cue edité via notepad++ AKUMAJOU DRACULA X - CHI NO RONDO [J] [S-CD²].BIN je peut le transformer en dracula x tout court en prenant le soin ensuite de copier/coller sur les fichier .cue/.bin? car j'ai justement de gros problème pour lancer ce jeu.

                                  pour pouvoir le scraper je suppose que le nom devra être le même que sur le site screenscraper en l’occurrence celui la Akumajou_Dracula_X_-Chi_no_Rinne(NTSC-J)_[KMCD3005].cue ?? pas vraiment plus court ^^ mais qui au final sera reconnu? pas évident à comprendre compte tenu que pour être émulé plusieurs personnes disent qu'il faut enlever les majuscules et symboles, de quoi plus rien comprendre ^^

                                  je sais pas si j'ai tout bien saisi mais je compte sur vous pour me le dire 😉
                                  Cordialement.

                                  PS: petite question bête (oui encore une) peut on coller sur un jeux une adresse du type CRC/MD5/SHA1 pourquelle soit reconnu, un peu comme si on voulait leur mettre un lien internet dessus pour aller chercher l'image?

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    @Pegoncology Pour Lunar 2,
                                    essaye de renommer ton fichier
                                    Si c'est sur megaCD : "Lunar Eternal Blue.EXT"
                                    Si c'est sur PSX : "Lunar 2 - Eternal Blue Complete (USA) (Disc 1).EXT"
                                    Si c'est sur Saturn (lol) : "Lunar II Eternal Blue Disc 1 of 2 (J)(Saturn).EXT"

                                    @Biblo A priori, je dirais "c'est ça" ^^ et je n'ai jamais entendu parlé de problème de nom de fichier (majuscule/minuscule) au niveau des émulateurs (mais bon ^^ je sais pas tout non plus :p)

                                    Pour la petit question bonus, c'est "impossible". Les hash (CRC/MD5/SHA1) sont des calculs qui se font sur le fichier. En théorie, chaque fichier donne un résultat différent (pour les puriste c'est plus ou moins vrai mais bon c'est suffisant dans notre cas 😉 ) Il est donc impossible d'assigner un Hash à un fichier autre que le "sien" 😉

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    Pegoncology 1 Reply Last reply Reply Quote 0
                                    • Biblo
                                      Biblo Theme moderator last edited by

                                      Je vais essayer de me dépatouiller avec tout ça ^^ merci encore d'avoir pris de ton temps.

                                      1 Reply Last reply Reply Quote 0
                                      • Biblo
                                        Biblo Theme moderator last edited by Biblo

                                        Ok Screech avec les noms de Screenscraper ça va vraiment mieux bien que certain sont récalcitrant notamment celui la
                                        Tengai Makyou - Deden no Kabuki-den (Japan).cue qui ne passe pas je le marque en cas ou il y a quelque chose à faire ^^

                                        Merci encore pour ton aide.

                                        Cordialement

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by screech

                                          @biblo said in [SOFT] Universal XML Scraper V2:

                                          Tengai Makyou - Deden no Kabuki-den (Japan)

                                          Il y a 2 autres fichier associé à ce jeu, essaye :
                                          Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Rev 2).cue
                                          ou
                                          Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Sample) (Rev 1).cue

                                          (Meme si c'est noté "sample", la rom est rattaché à la meme fiche de jeu 😉 donc ça devrait marcher...)

                                          EDIT :
                                          Après vérification, je pense que UXS trouve bien la fiche du jeu ^^ mais celle si est "vide"...
                                          Il y a quelques jeu comme ça ou notre BDD a des lacunes 😛
                                          Un conseil : créer toi un compte sur https://www.screenscraper.fr
                                          Et remplis la fiche 😉 (Screenshot, wheels, synopsys,genre, date, nb de joueurs,...) comme ça tu récupéreras les infos correctement au scrape (et tu pourras créer des MIX avec UXS si tu les utilise 😉 et ça aidera les autres qui scraperait le même jeu ^^

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • Biblo
                                            Biblo Theme moderator last edited by

                                            Effectivement aucun des deux n'a donné de résultat, je vais suivre ton conseil de toute façon ce n'était qu'une question de temps avant que je le fasse, avec un ptit tour à la caisse pour aider les personnes du site 😉
                                            En revanche remplir la fiche et l'utilisation de UXS jamais fait encore je vais regarder ça de plus prêt.

                                            Merci d'avoir regardé 🙂

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            75
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com