Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633311
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Pegoncology
      Pegoncology last edited by

      Merci. En effet le hash est très long. Je vais tester tes astuces. Merci

      1 Reply Last reply Reply Quote 0
      • Pegoncology
        Pegoncology last edited by

        @screech Nouvelle petite question : comment fait-on, via le logiciel, pour qu'en créant le XML, on ait le nom des jeux avec le déterminant à l'arrière. Par exemple "Addams Family, The" au lieu de "The Addams Family" ?
        Est-ce possible ?
        Ou bien on doit créer le XML via Recalbox et faire le scrape des roms manquantes par après via Universal XML Scraper ?
        Merci

        screech 1 Reply Last reply Reply Quote 0
        • screech
          screech @Pegoncology last edited by

          @pegoncology pour le moment cette option n'existe pas. Uxs se contente du nom fournit par screenscraper (+ d'éventuels options )

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • Pegoncology
            Pegoncology last edited by Pegoncology

            Ok merci.
            Concernant le scrape PSX (en eboot), j'ai des soucis avec certains jeux. J'ai l'impression que le nom doit être exactement le même que dans la DB de Screenscraper et même pour 2-3 jeux cela ne prend pas. Je suppose que les eboot n'ont pas de CRC et que donc le scrape est difficile.
            Je suppose aussi que l'ajout de Screenscraper intégré dans la future version de Recalbox va palier le problème pour ces jeux isolés qu'on arrive pas à scraper.

            1 Reply Last reply Reply Quote 0
            • Pegoncology
              Pegoncology last edited by

              @screech En fait je viens de me rendre compte que c'est peut-être un bug dans le logiciel et la DB de screenscraper. Ca ne concerne que les jeux qui ont un ":" dans le titre.
              Par exemple, chez moi c'est Lunar 2 - Eternal Blue et dans la DB c'est Lunar 2 : Eternal Blue. Pas de scrape. Idem si je modifie en "Lunar 2 Eternal Blue". En fait il faudrait que le fichier soit écrit avec le : mais le : n'est pas reconnu dans les caractères des fichiers Windows.
              Y a-t-il une solution ?
              Ou bien j'ai zappé une option dans le logiciel ?

              1 Reply Last reply Reply Quote 0
              • Choum
                Choum last edited by

                SI ton jeu ne dispose pas d'un CRC md5 reconnu par screenscrapper,
                Il suffit de renommer la rom comme l'une des roms reconnus par screenscrapper.
                Si je prend ton exemple (je suppose PSX)
                Si tu renommes ton fichier en "Lunar 2 - Eternal Blue Complete" il sera reconnu.

                1 Reply Last reply Reply Quote 0
                • Pegoncology
                  Pegoncology last edited by Pegoncology

                  Non justement, il refuse de prendre les - à la place des : et il laisse les jeux comme inconnus.
                  J'ai donc (dans mon set) une vingtaine de roms qu'on ne sait pas scraper. Evidemment en solution de rechange j'utilise le scraper anglais intégré (vu que je suis en 4.0.2)

                  1 Reply Last reply Reply Quote 0
                  • Biblo
                    Biblo Theme moderator last edited by Biblo

                    J'avais eu le problème avec un jeu snes du genre Super_Mario_World et en retirant les _
                    donc: Super Mario World il a réussi à le scraper, essaye plusieurs configuration genre Lunar 2 tout seul etc... ça n'a pas marché pour mon zelda snes toujours pas réussi à récupérer son image 😕

                    En revanche je galère beaucoup avec mes jeux pc engine cd sur 20 il en a scraper 2 et tu ne peux pas modifier le nom sous peine que le jeu ne pourra plus se lancer, cela peut être du au faite que pour certain jeux il faut éditer le nom dans le fichier .cue ??
                    Si quelqu'un a une solution je suis preneur car c'est une de mes console de prédilection:)

                    quoiqu'il en soit Screech félicitation pour ton logiciel.

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by

                      Petit Rappel sur le "comment les jeux sont retrouvé" :

                      En premier lieu UXS "Hash" les fichiers (CRC32, MD5, SHA1).
                      Grace à ce hash, il cherche dans la BDD une rom avec le même Hash (il test les 3 😉 )
                      S'il ne trouve pas, il fait une recherche sur le "nom de fichier" pour voir si une rom dans la BDD à le même "nom de fichier" (sans l'extension).
                      Attention, il s'agit bien d'un matching "nom de fichier" et pas du tout "nom du jeu".

                      Du coup, si malgré cela il ne trouve toujours pas votre rom :

                      • Changez de rom et prenez en une plus "connue" (la votre n'est vraiment pas référencé pour le moment)
                      • Renommez votre Rom comme une rom présente dans la BDD (pour cela ouvrez la fiche du jeu sur Screenscraper, et regarder dans les ROM/ISO listé).

                      Pour information, quand une rom est scrapé par plus de 10 personnes différentes, elle est automatiquement proposé à l'association.
                      Ce qui signifie que si votre Hash n'est pas trouvé, c'est que votre rom, malgré les plus de 2 000 000 de requêtes par jour n'a pas été scrapé plus de 10 fois ^^
                      (Attention, cela ne s'applique pas au rom/iso de plus de 200Mo, pour accélérer le process de scrape, le hash est partiel et ne peut donc pas etre remonté via l'API pour une proposition automatique, il ne fait une recherche que via le MD5 et/ou le nom de fichier)

                      concernant le PC Engine CD, le renommage Bin/cue est possible, mais il faut faire bien attention a ce que les 2 fichiers aient le même nom et que le cue contiennent bien le nouveau nom du bin)

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • Pegoncology
                        Pegoncology last edited by Pegoncology

                        J'avais déjà essayé toutes les solutions proposées sans succès. Je pense que le fait que ce sont d'une part des pbp (eboot) et d'autre part des jeux PSX (moins scrappés à mon avis que les SNES etc) fait qu'en effet, ils ne sont pas reconnus.
                        J'ai tout tenté, changement de nom, rechercher par nom de fichier, rien n'y fait.
                        Par contre le scrape (anglais) intégré le détecte directement.
                        Pour ma part je vais attendre l'intégration de Screenscraper dans la 4.2, ça réglera le problème certainement et je le ferai manuellement via Recalbox.

                        @Biblo oui si tu changes les noms des images CD des fichiers sous Windows, tu dois impérativement ouvrir le cue avec notepad et changer le nom également dedans car le cue redirige vers le bin avec la dénomination exacte. Sinon ton émulateur ne prend pas l'image

                        1 Reply Last reply Reply Quote 0
                        • Biblo
                          Biblo Theme moderator last edited by Biblo

                          Merci beaucoup pour votre aide, cela veut dire qu'avec le nom de ce fichier .cue edité via notepad++ AKUMAJOU DRACULA X - CHI NO RONDO [J] [S-CD²].BIN je peut le transformer en dracula x tout court en prenant le soin ensuite de copier/coller sur les fichier .cue/.bin? car j'ai justement de gros problème pour lancer ce jeu.

                          pour pouvoir le scraper je suppose que le nom devra être le même que sur le site screenscraper en l’occurrence celui la Akumajou_Dracula_X_-Chi_no_Rinne(NTSC-J)_[KMCD3005].cue ?? pas vraiment plus court ^^ mais qui au final sera reconnu? pas évident à comprendre compte tenu que pour être émulé plusieurs personnes disent qu'il faut enlever les majuscules et symboles, de quoi plus rien comprendre ^^

                          je sais pas si j'ai tout bien saisi mais je compte sur vous pour me le dire 😉
                          Cordialement.

                          PS: petite question bête (oui encore une) peut on coller sur un jeux une adresse du type CRC/MD5/SHA1 pourquelle soit reconnu, un peu comme si on voulait leur mettre un lien internet dessus pour aller chercher l'image?

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            @Pegoncology Pour Lunar 2,
                            essaye de renommer ton fichier
                            Si c'est sur megaCD : "Lunar Eternal Blue.EXT"
                            Si c'est sur PSX : "Lunar 2 - Eternal Blue Complete (USA) (Disc 1).EXT"
                            Si c'est sur Saturn (lol) : "Lunar II Eternal Blue Disc 1 of 2 (J)(Saturn).EXT"

                            @Biblo A priori, je dirais "c'est ça" ^^ et je n'ai jamais entendu parlé de problème de nom de fichier (majuscule/minuscule) au niveau des émulateurs (mais bon ^^ je sais pas tout non plus :p)

                            Pour la petit question bonus, c'est "impossible". Les hash (CRC/MD5/SHA1) sont des calculs qui se font sur le fichier. En théorie, chaque fichier donne un résultat différent (pour les puriste c'est plus ou moins vrai mais bon c'est suffisant dans notre cas 😉 ) Il est donc impossible d'assigner un Hash à un fichier autre que le "sien" 😉

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            Pegoncology 1 Reply Last reply Reply Quote 0
                            • Biblo
                              Biblo Theme moderator last edited by

                              Je vais essayer de me dépatouiller avec tout ça ^^ merci encore d'avoir pris de ton temps.

                              1 Reply Last reply Reply Quote 0
                              • Biblo
                                Biblo Theme moderator last edited by Biblo

                                Ok Screech avec les noms de Screenscraper ça va vraiment mieux bien que certain sont récalcitrant notamment celui la
                                Tengai Makyou - Deden no Kabuki-den (Japan).cue qui ne passe pas je le marque en cas ou il y a quelque chose à faire ^^

                                Merci encore pour ton aide.

                                Cordialement

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by screech

                                  @biblo said in [SOFT] Universal XML Scraper V2:

                                  Tengai Makyou - Deden no Kabuki-den (Japan)

                                  Il y a 2 autres fichier associé à ce jeu, essaye :
                                  Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Rev 2).cue
                                  ou
                                  Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Sample) (Rev 1).cue

                                  (Meme si c'est noté "sample", la rom est rattaché à la meme fiche de jeu 😉 donc ça devrait marcher...)

                                  EDIT :
                                  Après vérification, je pense que UXS trouve bien la fiche du jeu ^^ mais celle si est "vide"...
                                  Il y a quelques jeu comme ça ou notre BDD a des lacunes 😛
                                  Un conseil : créer toi un compte sur https://www.screenscraper.fr
                                  Et remplis la fiche 😉 (Screenshot, wheels, synopsys,genre, date, nb de joueurs,...) comme ça tu récupéreras les infos correctement au scrape (et tu pourras créer des MIX avec UXS si tu les utilise 😉 et ça aidera les autres qui scraperait le même jeu ^^

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • Biblo
                                    Biblo Theme moderator last edited by

                                    Effectivement aucun des deux n'a donné de résultat, je vais suivre ton conseil de toute façon ce n'était qu'une question de temps avant que je le fasse, avec un ptit tour à la caisse pour aider les personnes du site 😉
                                    En revanche remplir la fiche et l'utilisation de UXS jamais fait encore je vais regarder ça de plus prêt.

                                    Merci d'avoir regardé 🙂

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      @Biblo Si par petit tour à la caisse tu veux dire "participation financière", sache que ce n'est nullement obligatoire (même si ça aide pour payer l'infra ^^) on préfère, et de loin, les participations en "données".
                                      C'est pour cette raison qu'il est plus facile de "gagner" des threads supplémentaires pour accélérer ton scrape en faisant des propositions d'ajout (média, ou information) qu'en faisant un don 😉

                                      Screenscraper, meme s'il commence à devenir une des BDD les plus complete du web a encore quelques "lacunes" et certains systemes sont "pauvres" ^^ On est preneur de toutes l'aide qui pourrait etre apportée, surtout sur des systemes exotiques et peu utiliser (je pense qu'on est pas mal pour les Systemes Sega et Nintendo par exemple) par contre, CPC, Amiga, Atari par exemple c'est vraiment "compliqué" et "énorme" comme taf 😉

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • Biblo
                                        Biblo Theme moderator last edited by Biblo

                                        Je contribuerai dans la mesure de mon possible le temps de me familiariser avecScreenscraper, comment uploader les images etc etc..
                                        j'ai pas mal de jeux en boitier sur pc engine qui me reste notamment certain ou il n'y a pas de jaquette sur le site, mais la comme ça on a un peu peur de faire des bêtise il y a pas mal d'info à gérer de partout sur le site ^^
                                        Sinon comment fait on pour obtenir(réaliser) le boitier 3D celui utilisé lors des scrapes?

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          Alors, n'est pas peur de faire des bêtises 😉 au pire, les modérateurs refuseront ta proposition 😉
                                          Pour les boîtiers 3D, il sont "auto généré" à partir du scan de la jaquette 😉 c'est le site qui s'en charge 😉

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • Biblo
                                            Biblo Theme moderator last edited by Biblo

                                            Ok merci je vais regarder tout ça 🙂

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            77
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com