Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633297
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech @Pegoncology last edited by

      @pegoncology pour le moment cette option n'existe pas. Uxs se contente du nom fournit par screenscraper (+ d'éventuels options )

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • Pegoncology
        Pegoncology last edited by Pegoncology

        Ok merci.
        Concernant le scrape PSX (en eboot), j'ai des soucis avec certains jeux. J'ai l'impression que le nom doit être exactement le même que dans la DB de Screenscraper et même pour 2-3 jeux cela ne prend pas. Je suppose que les eboot n'ont pas de CRC et que donc le scrape est difficile.
        Je suppose aussi que l'ajout de Screenscraper intégré dans la future version de Recalbox va palier le problème pour ces jeux isolés qu'on arrive pas à scraper.

        1 Reply Last reply Reply Quote 0
        • Pegoncology
          Pegoncology last edited by

          @screech En fait je viens de me rendre compte que c'est peut-être un bug dans le logiciel et la DB de screenscraper. Ca ne concerne que les jeux qui ont un ":" dans le titre.
          Par exemple, chez moi c'est Lunar 2 - Eternal Blue et dans la DB c'est Lunar 2 : Eternal Blue. Pas de scrape. Idem si je modifie en "Lunar 2 Eternal Blue". En fait il faudrait que le fichier soit écrit avec le : mais le : n'est pas reconnu dans les caractères des fichiers Windows.
          Y a-t-il une solution ?
          Ou bien j'ai zappé une option dans le logiciel ?

          1 Reply Last reply Reply Quote 0
          • Choum
            Choum last edited by

            SI ton jeu ne dispose pas d'un CRC md5 reconnu par screenscrapper,
            Il suffit de renommer la rom comme l'une des roms reconnus par screenscrapper.
            Si je prend ton exemple (je suppose PSX)
            Si tu renommes ton fichier en "Lunar 2 - Eternal Blue Complete" il sera reconnu.

            1 Reply Last reply Reply Quote 0
            • Pegoncology
              Pegoncology last edited by Pegoncology

              Non justement, il refuse de prendre les - à la place des : et il laisse les jeux comme inconnus.
              J'ai donc (dans mon set) une vingtaine de roms qu'on ne sait pas scraper. Evidemment en solution de rechange j'utilise le scraper anglais intégré (vu que je suis en 4.0.2)

              1 Reply Last reply Reply Quote 0
              • Biblo
                Biblo Theme moderator last edited by Biblo

                J'avais eu le problème avec un jeu snes du genre Super_Mario_World et en retirant les _
                donc: Super Mario World il a réussi à le scraper, essaye plusieurs configuration genre Lunar 2 tout seul etc... ça n'a pas marché pour mon zelda snes toujours pas réussi à récupérer son image 😕

                En revanche je galère beaucoup avec mes jeux pc engine cd sur 20 il en a scraper 2 et tu ne peux pas modifier le nom sous peine que le jeu ne pourra plus se lancer, cela peut être du au faite que pour certain jeux il faut éditer le nom dans le fichier .cue ??
                Si quelqu'un a une solution je suis preneur car c'est une de mes console de prédilection:)

                quoiqu'il en soit Screech félicitation pour ton logiciel.

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  Petit Rappel sur le "comment les jeux sont retrouvé" :

                  En premier lieu UXS "Hash" les fichiers (CRC32, MD5, SHA1).
                  Grace à ce hash, il cherche dans la BDD une rom avec le même Hash (il test les 3 😉 )
                  S'il ne trouve pas, il fait une recherche sur le "nom de fichier" pour voir si une rom dans la BDD à le même "nom de fichier" (sans l'extension).
                  Attention, il s'agit bien d'un matching "nom de fichier" et pas du tout "nom du jeu".

                  Du coup, si malgré cela il ne trouve toujours pas votre rom :

                  • Changez de rom et prenez en une plus "connue" (la votre n'est vraiment pas référencé pour le moment)
                  • Renommez votre Rom comme une rom présente dans la BDD (pour cela ouvrez la fiche du jeu sur Screenscraper, et regarder dans les ROM/ISO listé).

                  Pour information, quand une rom est scrapé par plus de 10 personnes différentes, elle est automatiquement proposé à l'association.
                  Ce qui signifie que si votre Hash n'est pas trouvé, c'est que votre rom, malgré les plus de 2 000 000 de requêtes par jour n'a pas été scrapé plus de 10 fois ^^
                  (Attention, cela ne s'applique pas au rom/iso de plus de 200Mo, pour accélérer le process de scrape, le hash est partiel et ne peut donc pas etre remonté via l'API pour une proposition automatique, il ne fait une recherche que via le MD5 et/ou le nom de fichier)

                  concernant le PC Engine CD, le renommage Bin/cue est possible, mais il faut faire bien attention a ce que les 2 fichiers aient le même nom et que le cue contiennent bien le nouveau nom du bin)

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • Pegoncology
                    Pegoncology last edited by Pegoncology

                    J'avais déjà essayé toutes les solutions proposées sans succès. Je pense que le fait que ce sont d'une part des pbp (eboot) et d'autre part des jeux PSX (moins scrappés à mon avis que les SNES etc) fait qu'en effet, ils ne sont pas reconnus.
                    J'ai tout tenté, changement de nom, rechercher par nom de fichier, rien n'y fait.
                    Par contre le scrape (anglais) intégré le détecte directement.
                    Pour ma part je vais attendre l'intégration de Screenscraper dans la 4.2, ça réglera le problème certainement et je le ferai manuellement via Recalbox.

                    @Biblo oui si tu changes les noms des images CD des fichiers sous Windows, tu dois impérativement ouvrir le cue avec notepad et changer le nom également dedans car le cue redirige vers le bin avec la dénomination exacte. Sinon ton émulateur ne prend pas l'image

                    1 Reply Last reply Reply Quote 0
                    • Biblo
                      Biblo Theme moderator last edited by Biblo

                      Merci beaucoup pour votre aide, cela veut dire qu'avec le nom de ce fichier .cue edité via notepad++ AKUMAJOU DRACULA X - CHI NO RONDO [J] [S-CD²].BIN je peut le transformer en dracula x tout court en prenant le soin ensuite de copier/coller sur les fichier .cue/.bin? car j'ai justement de gros problème pour lancer ce jeu.

                      pour pouvoir le scraper je suppose que le nom devra être le même que sur le site screenscraper en l’occurrence celui la Akumajou_Dracula_X_-Chi_no_Rinne(NTSC-J)_[KMCD3005].cue ?? pas vraiment plus court ^^ mais qui au final sera reconnu? pas évident à comprendre compte tenu que pour être émulé plusieurs personnes disent qu'il faut enlever les majuscules et symboles, de quoi plus rien comprendre ^^

                      je sais pas si j'ai tout bien saisi mais je compte sur vous pour me le dire 😉
                      Cordialement.

                      PS: petite question bête (oui encore une) peut on coller sur un jeux une adresse du type CRC/MD5/SHA1 pourquelle soit reconnu, un peu comme si on voulait leur mettre un lien internet dessus pour aller chercher l'image?

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        @Pegoncology Pour Lunar 2,
                        essaye de renommer ton fichier
                        Si c'est sur megaCD : "Lunar Eternal Blue.EXT"
                        Si c'est sur PSX : "Lunar 2 - Eternal Blue Complete (USA) (Disc 1).EXT"
                        Si c'est sur Saturn (lol) : "Lunar II Eternal Blue Disc 1 of 2 (J)(Saturn).EXT"

                        @Biblo A priori, je dirais "c'est ça" ^^ et je n'ai jamais entendu parlé de problème de nom de fichier (majuscule/minuscule) au niveau des émulateurs (mais bon ^^ je sais pas tout non plus :p)

                        Pour la petit question bonus, c'est "impossible". Les hash (CRC/MD5/SHA1) sont des calculs qui se font sur le fichier. En théorie, chaque fichier donne un résultat différent (pour les puriste c'est plus ou moins vrai mais bon c'est suffisant dans notre cas 😉 ) Il est donc impossible d'assigner un Hash à un fichier autre que le "sien" 😉

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        Pegoncology 1 Reply Last reply Reply Quote 0
                        • Biblo
                          Biblo Theme moderator last edited by

                          Je vais essayer de me dépatouiller avec tout ça ^^ merci encore d'avoir pris de ton temps.

                          1 Reply Last reply Reply Quote 0
                          • Biblo
                            Biblo Theme moderator last edited by Biblo

                            Ok Screech avec les noms de Screenscraper ça va vraiment mieux bien que certain sont récalcitrant notamment celui la
                            Tengai Makyou - Deden no Kabuki-den (Japan).cue qui ne passe pas je le marque en cas ou il y a quelque chose à faire ^^

                            Merci encore pour ton aide.

                            Cordialement

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by screech

                              @biblo said in [SOFT] Universal XML Scraper V2:

                              Tengai Makyou - Deden no Kabuki-den (Japan)

                              Il y a 2 autres fichier associé à ce jeu, essaye :
                              Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Rev 2).cue
                              ou
                              Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Sample) (Rev 1).cue

                              (Meme si c'est noté "sample", la rom est rattaché à la meme fiche de jeu 😉 donc ça devrait marcher...)

                              EDIT :
                              Après vérification, je pense que UXS trouve bien la fiche du jeu ^^ mais celle si est "vide"...
                              Il y a quelques jeu comme ça ou notre BDD a des lacunes 😛
                              Un conseil : créer toi un compte sur https://www.screenscraper.fr
                              Et remplis la fiche 😉 (Screenshot, wheels, synopsys,genre, date, nb de joueurs,...) comme ça tu récupéreras les infos correctement au scrape (et tu pourras créer des MIX avec UXS si tu les utilise 😉 et ça aidera les autres qui scraperait le même jeu ^^

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • Biblo
                                Biblo Theme moderator last edited by

                                Effectivement aucun des deux n'a donné de résultat, je vais suivre ton conseil de toute façon ce n'était qu'une question de temps avant que je le fasse, avec un ptit tour à la caisse pour aider les personnes du site 😉
                                En revanche remplir la fiche et l'utilisation de UXS jamais fait encore je vais regarder ça de plus prêt.

                                Merci d'avoir regardé 🙂

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  @Biblo Si par petit tour à la caisse tu veux dire "participation financière", sache que ce n'est nullement obligatoire (même si ça aide pour payer l'infra ^^) on préfère, et de loin, les participations en "données".
                                  C'est pour cette raison qu'il est plus facile de "gagner" des threads supplémentaires pour accélérer ton scrape en faisant des propositions d'ajout (média, ou information) qu'en faisant un don 😉

                                  Screenscraper, meme s'il commence à devenir une des BDD les plus complete du web a encore quelques "lacunes" et certains systemes sont "pauvres" ^^ On est preneur de toutes l'aide qui pourrait etre apportée, surtout sur des systemes exotiques et peu utiliser (je pense qu'on est pas mal pour les Systemes Sega et Nintendo par exemple) par contre, CPC, Amiga, Atari par exemple c'est vraiment "compliqué" et "énorme" comme taf 😉

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • Biblo
                                    Biblo Theme moderator last edited by Biblo

                                    Je contribuerai dans la mesure de mon possible le temps de me familiariser avecScreenscraper, comment uploader les images etc etc..
                                    j'ai pas mal de jeux en boitier sur pc engine qui me reste notamment certain ou il n'y a pas de jaquette sur le site, mais la comme ça on a un peu peur de faire des bêtise il y a pas mal d'info à gérer de partout sur le site ^^
                                    Sinon comment fait on pour obtenir(réaliser) le boitier 3D celui utilisé lors des scrapes?

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      Alors, n'est pas peur de faire des bêtises 😉 au pire, les modérateurs refuseront ta proposition 😉
                                      Pour les boîtiers 3D, il sont "auto généré" à partir du scan de la jaquette 😉 c'est le site qui s'en charge 😉

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • Biblo
                                        Biblo Theme moderator last edited by Biblo

                                        Ok merci je vais regarder tout ça 🙂

                                        1 Reply Last reply Reply Quote 0
                                        • Biblo
                                          Biblo Theme moderator last edited by

                                          je viens de terminer une première fournée de scan et à ce propos je voulais savoir si le site gère les boitier double, ou si je dois découper les côtés de la première jaquette?

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by

                                            Merci @Biblo , comme tu as du le remarquer, j'ai validé tes premières propositions.
                                            A partir de la jaquette arrière, j'ai créé le coté, et grâce à tes sources, j'ai pu créer une jaquette complète qui à généré la version 3D.
                                            Tu as 2 possibilités, ou tu utilises les "gabarits" (genre avec photoshop en faisant des copier coller par dessus pour mettre les bons éléments aux bons endroits) que tu peux proposer en tant que "texture" ou tu peux proposer les "sources" qui nous servirons à créer les textures 😉 (bon c'est juste un peu plus de boulot pour nous pendant la validation ^^)

                                            et voila le resultat en 3D :
                                            text alternatif

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            83
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com