Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633393
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      @Yoakin I just found the error...

      I just push a 2.0.0.5 correcting that 😉

      @Sassa cool ^^ (et la différence est vraiment énorme non ?)

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • sassa
        sassa last edited by

        @screech oh oui !!!! Ça va faire un gros gain de place

        1 Reply Last reply Reply Quote 1
        • Ramstatlon
          Ramstatlon last edited by

          Je ne sais pas si ca vous la fait aussi, mais UXML confond 2 jeux sur NES: 3-D WorldRunner et Lode Runner.
          Il remonte systematiquement les donnees de 3-D WorldRunner de http://www.screenscraper.fr/
          J ai teste avec differetnes roms de Load runner pris de sources differentes.

          Lode Runner
          http://www.screenscraper.fr/gameinfos.php?gameid=1544
          3-D WorldRunner
          http://www.screenscraper.fr/gameinfos.php?gameid=18548

          Qulequ un sait comment le signaler sur le site? J ai laisser un commentaire avec un #ERREUR en esperant que ca suffise

          recalboxOS 4.0.0-beta6
          Raspberry pi 3
          manettes 8Bitdo SCF30 & NES30 Pro

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            @Ramstatlon
            C'est bizarre, je viens de regarder et les roms semblent correcte...

            Tu dois avoir une rom Lode Runner qui possède un hash de 3D WorldRunner.

            Pourrais tu me donner le CRC (ou MD5) de la rom Lode Runner qui remonte en 3D WorldRunner ?

            Pour que je check. Sinon regarde dans les 2 liens que tu as mis, tu as les roms liés... Si tu as une inversion, c'est qu'il y a un pb de hash quelque part...

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            Ramstatlon 1 Reply Last reply Reply Quote 0
            • Ramstatlon
              Ramstatlon @screech last edited by Ramstatlon

              @screech
              comment je peux connaitre ce CRC (ou MD5) ?

              ooops, edit:
              j ai teste plusieurs versions, je reviens avec les CRC

              recalboxOS 4.0.0-beta6
              Raspberry pi 3
              manettes 8Bitdo SCF30 & NES30 Pro

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                supprime vite ces liens avant qu'un modo ne passe ^^ (pas de liens sur des roms s'il te plais 😉 )

                Sinon, tu peux trouver le CRC dans les logs 😉

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • Ramstatlon
                  Ramstatlon last edited by

                  Pardon d etre un boulet..
                  Le log c est celui de /recalbox/share/system/logs/recalbox.log?

                  J ai bien les lignes ci-dessous qui apparaissent mais je ne vois de numero CRC ou MD5

                  ['retroarch', '-L', '/usr/lib/libretro/fceunext_libretro.so', '--config', '/recalbox/share/system/configs/retroarch/retroarchcustom.cfg', '/recalbox/share/roms/nes/Lode Runner (U) [!].nes']
                  Powering on HDMI with explicit settings (CEA mode 4)
                  Powering on HDMI with preferred settings
                  ['retroarch', '-L', '/usr/lib/libretro/fceunext_libretro.so', '--config', '/recalbox/share/system/configs/retroarch/retroarchcustom.cfg', '/recalbox/share/roms/nes/Lode Runner (U).nes']

                  recalboxOS 4.0.0-beta6
                  Raspberry pi 3
                  manettes 8Bitdo SCF30 & NES30 Pro

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    oulah ^^ pas du tout ^^
                    c'est dans le répertoire d'UXS, tu as un repertoire logs ^^ et dedans un log.txt 😉

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • Ramstatlon
                      Ramstatlon last edited by

                      Bon ben la ref est CD4BF911 qui correspond a 3-D WorldRunner pourtant c est bien un rom qui lance Lode Runner..

                      [21:12:42] - Rom Info (Lode Runner (U).nes) Hash in 0.03s
                      [21:12:42] - > Size : 24592
                      [21:12:42] - > CRC32 : CD4BF911
                      [21:12:42] - > MD5 : 8E074813A094594C29C1D4C43E4BDBC5
                      [21:12:42] - > SHA1 : EA09AEC11EFC4B42EBC644EA243C2284001FE34F

                      [21:12:42] - Rom Info (Lode Runner (U) [!].nes) Hash in 0.03s
                      [21:12:42] - > Size : 24592
                      [21:12:42] - > CRC32 : CD4BF911
                      [21:12:42] - > MD5 : 8E074813A094594C29C1D4C43E4BDBC5
                      [21:12:42] - > SHA1 : EA09AEC11EFC4B42EBC644EA243C2284001FE34F

                      Je precise que ce sont 2 roms de Lode Runner qui viennent de sources differentes

                      Lode Runner
                      http://www.screenscraper.fr/gameinfos.php?gameid=1544
                      3-D WorldRunner
                      http://www.screenscraper.fr/gameinfos.php?gameid=18548

                      recalboxOS 4.0.0-beta6
                      Raspberry pi 3
                      manettes 8Bitdo SCF30 & NES30 Pro

                      1 Reply Last reply Reply Quote 0
                      • kevinnash
                        kevinnash last edited by

                        hello screech,

                        Je viens d'essayer la V2, j'ai quelques interrogations :

                        => J'ai mis l'ID de mon compte Screenscraper mais cela me dit que mon compte ne me donne accès que à 1 thread, est-ce normal ?

                        => le clic pour s'inscrire sur Screenscraper donne une 404

                        => Le son de démarrage, est-ce vraiment utile ? Peut-être une option de désactivation de ce son serait possible ?

                        => Ne peut-il pas y avoir moins de 5 menus de configuration ? Personnellement je préfèrerais le all-in-one de la V1;)

                        Ramstatlon 1 Reply Last reply Reply Quote 0
                        • Ramstatlon
                          Ramstatlon @kevinnash last edited by

                          @kevinnash ah ben tiens, je viens juste de poser la question.. Ca viens juste de changer mais apparemment les nouvelles conditions sont plus interessantes:

                          pour les thread, effectivement, il y a eu quelques modificiations en accord avec le grand chef de Screenscraper.
                          Il faut au moins 1 participation validé pour avoir 2 threads... mais en contre partie tu peux en gagner d'autre beaucoup plus vite 😉
                          Votre nombre de Thread dépend de votre participation :
                          (ssuser/uploadsysteme + ssuser/uploadinfos + ssuser/romasso + ssuser/uploadmedia)

                          • 1 participations validées : 2 Threads maximum ouvert simultanément
                          • 2 à 49 participations validées : 3 Threads maximum ouvert simultanément
                          • 50 à 199 participations validées : 4 Threads maximum ouvert simultanément
                          • 200 à 499 participations validées : 5 Threads maximum ouvert simultanément
                          • 500 à 749 participations validées : 6 Threads maximum ouvert simultanément
                          • 750 à 999 participations validées : 7 Threads maximum ouvert simultanément
                            • de 999 participations validées : 8 Threads maximum ouvert simultanément
                              Et si vous faite une participation financière vous gagnez des « Threads Bonus »
                              (ssuser/contribution) : 2 = 1 Thread Supplémentaire / 3 et + = 5 Threads Supplémentaires
                          • De 5 à 9 euros : 1 Thread bonus
                          • Au-delà de 10 euros : 5 Threads bonus

                          recalboxOS 4.0.0-beta6
                          Raspberry pi 3
                          manettes 8Bitdo SCF30 & NES30 Pro

                          1 Reply Last reply Reply Quote 0
                          • botte
                            botte last edited by

                            Hi Screech thanks a lot for your dev!

                            I'm new Recalbox user and it allowed me to make things nice!

                            But i'm wondering if you could (or if there already is) add a manual search to find the rom which do not end up with any information ?

                            I could use scrapper in recalbox but I'd like to use same db (and have only french description 😉 ).
                            It mostly happens on translated roms for instance, which cannot be hashed.

                            Thanks and cheers!

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              @kevinnash
                              Alors, pour le nombre de thread, on s'est mis d'accord avec le chef de Screenscraper ^^ effectivement. (je suis encore en Beta ^^)
                              Il faut au moins 1 participation pour avoir 1 thread de plus, mais au bout de 2 participations tu en gagne déjà 1 autre ^^... (avant c’était 10 ^^)

                              Pour l'inscription sur Screenscraper, effectivement, petit boulette corrigé dans la prochaine version.

                              Pour le son de démarrage, c'est un chouette jingle que m'a fait Neogeronimo ^^. En fait, ce splash screen cache quelques téléchargements obligatoires au démarrage (la liste des systèmes par exemple) donc je peux pas trop le réduire (au niveau temps)... Mais si tu veux un splash screen "muet" je vais voir ce que je peux faire ^^

                              Enfin pour les menus, l'ancienne version "all-in-one" posait problème à pas mal de monde, et des confusion entre les chemins pour un répertoire unique ou les chemins pour l'autoconfig...

                              La au moins c'est claire ^^ (bon en plus concrètement tu t'en sert 1 ou 2 fois au début... Et encore après tu scrape sans jamais y retoucher ^^ )

                              @botte
                              If UXS don't find it, you cannot find it with the name 😉 (Screenscraper wasn't made this way)
                              The best way is providing us your missing.txt file to add the missing rom to the DB 😉

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              kevinnash 1 Reply Last reply Reply Quote 0
                              • botte
                                botte last edited by

                                ahhhh ok!

                                Comme ca parle français je m'y met aussi.

                                comment ca se passe pour rajouter les roms à la db ?

                                si je prends un exemple du missing.txt:

                                Final FantASY VI FR ( patch terminus 3.1 - III US 1.1).smc CEE13E08 4 194 304 19:54.00 2015-05-17 F3334DF6425F78C34BEF9AFBC8118150

                                On peut pas du tout retrouver le scrape avec "Final Fantasy VI" donc ?

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  si 😉 tu m'envois ton fichier missing (ou tu me le colle dans pastebin) et j'ajouterais les roms dans la DB 😉

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  botte Ramstatlon 2 Replies Last reply Reply Quote 0
                                  • botte
                                    botte @screech last edited by botte

                                    @screech et bien... bon courage 😄 mais tu as un travail de titan devant toi du coup!

                                    1 Reply Last reply Reply Quote 0
                                    • kevinnash
                                      kevinnash @screech last edited by

                                      @screech said in [SOFT] Universal XML Scraper V2:

                                      @kevinnash
                                      Alors, pour le nombre de thread, on s'est mis d'accord avec le chef de Screenscraper ^^ effectivement. (je suis encore en Beta ^^)
                                      Il faut au moins 1 participation pour avoir 1 thread de plus, mais au bout de 2 participations tu en gagne déjà 1 autre ^^... (avant c’était 10 ^^)

                                      Ca marche 🙂

                                      J'ai une centaine de ROMs snes avec trainers ou trad FR avec les noms valides goodsnes.

                                      Elles sont non identifiées sur screenscraper, je peux les ajouter là-bas tu penses ?

                                      1 Reply Last reply Reply Quote 0
                                      • sassa
                                        sassa last edited by sassa

                                        D'ailleurs en parlant de chemins des roms, logiquement je suis en recalbox mix v4 mais je me sers aussi du simple v4 pour un autre pi qui n'utilise pas le full back

                                        Le fait de basculer entre le mix v4 et le v4 (ou un autre comme le v3), je dois à chaque fois recommencer la partie des chemins car il ne les garde pas en mémoire donc que je scrappe par exemple le dossier snes (qui est sur mon pc) je le fais pour le premier pi, ensuite je lance le v3 pour le second, et après quand je change de système et que je retourne sur le mix v4 je dois de nouveau rentrer les chemins

                                        Dans le futur ce sera possible d'avoir les options de sauvegardé selon les profils ?

                                        edit : j'ai rien dit aujourd'hui il me redemande pas les chemins lol

                                        1 Reply Last reply Reply Quote 0
                                        • Ramstatlon
                                          Ramstatlon @screech last edited by

                                          @screech j ai une autre rom mal reference, en fait meme 2 CRC qui sont pourtant correctement nomme mais dans la mauvaise page:

                                          #ERREUR : les 2 CRC C8602800 02A32853 refere au jeu:

                                          The Simpsons : Bart vs the Space Mutants
                                          http://www.screenscraper.fr/gameinfos.php?gameid=1295

                                          et non a:

                                          The Simpsons : Bart vs the World
                                          http://www.screenscraper.fr/gameinfos.php?gameid=1543)

                                          recalboxOS 4.0.0-beta6
                                          Raspberry pi 3
                                          manettes 8Bitdo SCF30 & NES30 Pro

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by

                                            @botte C'est importé 😉 (pour la majorité ^^) par contre, certaines ne ce sont pas "auto associé" il faudrait donc que tu passe sur le site pour les associer au jeu correspondant 😉

                                            @kevinnash Tu ne peux pas ajouter de rom sur Screenscraper 😉 par contre, tu peux m'envoyer tes fichiers Missing 😉 je les ajouterais, il ne te restera plus qu'à les associer aux jeux correspondant (si ça ne se fait pas en auto)

                                            @sassa Effectivement 😉 normalement le path autoconfig est enregistré dans le profil (seul probleme, il est reset en cas de MaJ d'UXS)

                                            @Ramstatlon c'est corrigé 😉

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            68
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com