Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633130
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Ramstatlon
      Ramstatlon @kevinnash last edited by

      @kevinnash ah ben tiens, je viens juste de poser la question.. Ca viens juste de changer mais apparemment les nouvelles conditions sont plus interessantes:

      pour les thread, effectivement, il y a eu quelques modificiations en accord avec le grand chef de Screenscraper.
      Il faut au moins 1 participation validé pour avoir 2 threads... mais en contre partie tu peux en gagner d'autre beaucoup plus vite 😉
      Votre nombre de Thread dépend de votre participation :
      (ssuser/uploadsysteme + ssuser/uploadinfos + ssuser/romasso + ssuser/uploadmedia)

      • 1 participations validées : 2 Threads maximum ouvert simultanément
      • 2 à 49 participations validées : 3 Threads maximum ouvert simultanément
      • 50 à 199 participations validées : 4 Threads maximum ouvert simultanément
      • 200 à 499 participations validées : 5 Threads maximum ouvert simultanément
      • 500 à 749 participations validées : 6 Threads maximum ouvert simultanément
      • 750 à 999 participations validées : 7 Threads maximum ouvert simultanément
        • de 999 participations validées : 8 Threads maximum ouvert simultanément
          Et si vous faite une participation financière vous gagnez des « Threads Bonus »
          (ssuser/contribution) : 2 = 1 Thread Supplémentaire / 3 et + = 5 Threads Supplémentaires
      • De 5 à 9 euros : 1 Thread bonus
      • Au-delà de 10 euros : 5 Threads bonus

      recalboxOS 4.0.0-beta6
      Raspberry pi 3
      manettes 8Bitdo SCF30 & NES30 Pro

      1 Reply Last reply Reply Quote 0
      • botte
        botte last edited by

        Hi Screech thanks a lot for your dev!

        I'm new Recalbox user and it allowed me to make things nice!

        But i'm wondering if you could (or if there already is) add a manual search to find the rom which do not end up with any information ?

        I could use scrapper in recalbox but I'd like to use same db (and have only french description 😉 ).
        It mostly happens on translated roms for instance, which cannot be hashed.

        Thanks and cheers!

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          @kevinnash
          Alors, pour le nombre de thread, on s'est mis d'accord avec le chef de Screenscraper ^^ effectivement. (je suis encore en Beta ^^)
          Il faut au moins 1 participation pour avoir 1 thread de plus, mais au bout de 2 participations tu en gagne déjà 1 autre ^^... (avant c’était 10 ^^)

          Pour l'inscription sur Screenscraper, effectivement, petit boulette corrigé dans la prochaine version.

          Pour le son de démarrage, c'est un chouette jingle que m'a fait Neogeronimo ^^. En fait, ce splash screen cache quelques téléchargements obligatoires au démarrage (la liste des systèmes par exemple) donc je peux pas trop le réduire (au niveau temps)... Mais si tu veux un splash screen "muet" je vais voir ce que je peux faire ^^

          Enfin pour les menus, l'ancienne version "all-in-one" posait problème à pas mal de monde, et des confusion entre les chemins pour un répertoire unique ou les chemins pour l'autoconfig...

          La au moins c'est claire ^^ (bon en plus concrètement tu t'en sert 1 ou 2 fois au début... Et encore après tu scrape sans jamais y retoucher ^^ )

          @botte
          If UXS don't find it, you cannot find it with the name 😉 (Screenscraper wasn't made this way)
          The best way is providing us your missing.txt file to add the missing rom to the DB 😉

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          kevinnash 1 Reply Last reply Reply Quote 0
          • botte
            botte last edited by

            ahhhh ok!

            Comme ca parle français je m'y met aussi.

            comment ca se passe pour rajouter les roms à la db ?

            si je prends un exemple du missing.txt:

            Final FantASY VI FR ( patch terminus 3.1 - III US 1.1).smc CEE13E08 4 194 304 19:54.00 2015-05-17 F3334DF6425F78C34BEF9AFBC8118150

            On peut pas du tout retrouver le scrape avec "Final Fantasy VI" donc ?

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              si 😉 tu m'envois ton fichier missing (ou tu me le colle dans pastebin) et j'ajouterais les roms dans la DB 😉

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              botte Ramstatlon 2 Replies Last reply Reply Quote 0
              • botte
                botte @screech last edited by botte

                @screech et bien... bon courage 😄 mais tu as un travail de titan devant toi du coup!

                1 Reply Last reply Reply Quote 0
                • kevinnash
                  kevinnash @screech last edited by

                  @screech said in [SOFT] Universal XML Scraper V2:

                  @kevinnash
                  Alors, pour le nombre de thread, on s'est mis d'accord avec le chef de Screenscraper ^^ effectivement. (je suis encore en Beta ^^)
                  Il faut au moins 1 participation pour avoir 1 thread de plus, mais au bout de 2 participations tu en gagne déjà 1 autre ^^... (avant c’était 10 ^^)

                  Ca marche 🙂

                  J'ai une centaine de ROMs snes avec trainers ou trad FR avec les noms valides goodsnes.

                  Elles sont non identifiées sur screenscraper, je peux les ajouter là-bas tu penses ?

                  1 Reply Last reply Reply Quote 0
                  • sassa
                    sassa last edited by sassa

                    D'ailleurs en parlant de chemins des roms, logiquement je suis en recalbox mix v4 mais je me sers aussi du simple v4 pour un autre pi qui n'utilise pas le full back

                    Le fait de basculer entre le mix v4 et le v4 (ou un autre comme le v3), je dois à chaque fois recommencer la partie des chemins car il ne les garde pas en mémoire donc que je scrappe par exemple le dossier snes (qui est sur mon pc) je le fais pour le premier pi, ensuite je lance le v3 pour le second, et après quand je change de système et que je retourne sur le mix v4 je dois de nouveau rentrer les chemins

                    Dans le futur ce sera possible d'avoir les options de sauvegardé selon les profils ?

                    edit : j'ai rien dit aujourd'hui il me redemande pas les chemins lol

                    1 Reply Last reply Reply Quote 0
                    • Ramstatlon
                      Ramstatlon @screech last edited by

                      @screech j ai une autre rom mal reference, en fait meme 2 CRC qui sont pourtant correctement nomme mais dans la mauvaise page:

                      #ERREUR : les 2 CRC C8602800 02A32853 refere au jeu:

                      The Simpsons : Bart vs the Space Mutants
                      http://www.screenscraper.fr/gameinfos.php?gameid=1295

                      et non a:

                      The Simpsons : Bart vs the World
                      http://www.screenscraper.fr/gameinfos.php?gameid=1543)

                      recalboxOS 4.0.0-beta6
                      Raspberry pi 3
                      manettes 8Bitdo SCF30 & NES30 Pro

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        @botte C'est importé 😉 (pour la majorité ^^) par contre, certaines ne ce sont pas "auto associé" il faudrait donc que tu passe sur le site pour les associer au jeu correspondant 😉

                        @kevinnash Tu ne peux pas ajouter de rom sur Screenscraper 😉 par contre, tu peux m'envoyer tes fichiers Missing 😉 je les ajouterais, il ne te restera plus qu'à les associer aux jeux correspondant (si ça ne se fait pas en auto)

                        @sassa Effectivement 😉 normalement le path autoconfig est enregistré dans le profil (seul probleme, il est reset en cas de MaJ d'UXS)

                        @Ramstatlon c'est corrigé 😉

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • sassa
                          sassa last edited by

                          @screech oui justement je pense que j'ai un peu confondu avec toutes les dernières versions mais là c'est bon tout est bien enregistré si je change de profil

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            2.0.0.6 Beta is out...

                            Lot's of change :

                            • Corrected :
                            • French, German, spanish and english translation correction.
                            • First rom sometime doesn't be scrapped corrected.
                            • Include/Exclude label size corrected
                            • Registering link with Digimirror corrected.
                            • Some roms don't be scraped because of "not allowed" characteres corrected.
                            • Added :
                            • New XML Include
                            • Bypass research function (to make dedicated profil for some system like scummvm)
                            • New Mix Profil to Test SCUMMVM on Recalbox V4 (MIX)
                            • Rewrite of path option to add some tag :
                              • %SystemDir% = Full path to the system directory
                              • %System% = Name of the System directory
                              • %Source_RootPath% = Path to the local Root
                            • Rewrite of Retropie Profil to match Retropie Path (to test)
                            • Merge with verybadsoldier fork :
                            • Added a new function to scrape IN zip files when zip file rom isn't found. (THANKS A LOT verybadsoldier)

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            Ramstatlon 1 Reply Last reply Reply Quote 0
                            • Ramstatlon
                              Ramstatlon @screech last edited by

                              @screech On dirait qu il ne trouve pas le fichier des rom a scrapper (en tous cas quand on ne scrappe qu un seul systeme)

                              recalboxOS 4.0.0-beta6
                              Raspberry pi 3
                              manettes 8Bitdo SCF30 & NES30 Pro

                              1 Reply Last reply Reply Quote 0
                              • ian57
                                ian57 Staff last edited by ian57

                                @screech je suis en train de tester UXS V2 depuis un poste windows... c'est vraiment un bel outil... merci pout ton taf... mon seul regret... il faut être sous windows ;).

                                je te ferai un retour plus long dès que j'ai compris ou il met les fichiers ;)... mais bon j'ai pas du tout lire ...

                                "UNIX is basically a simple operating system, but you have to be a genius to understand the simplicity." Dennis Ritchie

                                1 Reply Last reply Reply Quote 0
                                • Bertille
                                  Bertille last edited by

                                  Bonjour,

                                  D'abord merci pour ce super soft !
                                  Je poste ici au cas ou cela serait un bug :

                                  Avec la version précédente de ScreenScrapper (1.x) il trouvait toutes les images et descriptions des jeux, or depuis la version 2 certains jeux sont annoncés introuvables.

                                  Un exemple avec le rapport de jeux pour la Lynx :

                                  Bill & Ted's Excellent Adventure (USA, Europe).lnx 1323D4EE 262 208 22:32.00 1996-12-24 B83693A793B3DF48EE566DE2C40E3545
                                  Chip's Challenge (USA, Europe).lnx 7A5C55F1 131 136 22:32.00 1996-12-24 7F98DEC620345005F32CD0056B50F056
                                  Hard Drivin' (USA, Europe).lnx 7DF53E28 131 136 22:32.00 1996-12-24 528BFE5F3C240353BB07322319A232F7
                                  Jimmy Connors' Tennis (USA, Europe).lnx 41B8D581 524 352 22:32.00 1996-12-24 8BBF58DC3C86FF75D37AB05612C49452
                                  Todd's Adventures in Slime World (USA, Europe).lnx BE257835 131 136 22:32.00 1996-12-24 14F02B85AF985487B51AB0DCFB047E1D

                                  Merci.

                                  sassa 1 Reply Last reply Reply Quote 0
                                  • Bertille
                                    Bertille last edited by

                                    Idem avec les jeux suivants :

                                    • Mame :

                                    diggerma.zip 7F910E95 372 934 14:48.00 2016-11-06 13ECF2A416AFA7A2F1CE75C5C9273628

                                    • NeoGeo :

                                    mslug3b6.zip 6B1FECA4 79 895 198 08:54.00 2015-11-26 6116D6CF0DFAAD6AE9C30E0C8AF40A66

                                    • NES :

                                    Joe & Mac - Caveman Ninja (Europe).nes 2E872FF6 262 160 22:32.00 1996-12-24 28948AA3ABEA597F53A6748EF18EEEE6

                                    1 Reply Last reply Reply Quote 0
                                    • ian57
                                      ian57 Staff last edited by

                                      Bon ben que dire... que du bon cet UXS V2, je n'ai pas connus la V1, mais j'ai scrappé quasi toute la journée... et pas de plantage à signaler... c'est rapide, et surtout ça se fait directement que le Pi en mode réseau windows... bref que du bonheur.

                                      Moi je dis, le tester, c'est l'adopter. Un gros gros merci à screech pour ton oeuvre...

                                      "UNIX is basically a simple operating system, but you have to be a genius to understand the simplicity." Dennis Ritchie

                                      1 Reply Last reply Reply Quote 0
                                      • sassa
                                        sassa @Bertille last edited by sassa

                                        @Bertille said in [SOFT] Universal XML Scraper V2:

                                        Avec la version précédente de ScreenScrapper (1.x) il trouvait toutes les images et descriptions des jeux, or depuis la version 2 certains jeux sont annoncés introuvables.

                                        ah tiens j'ai remarqué ça aussi cet après midi, mais c'était pour une autre console, mes scraps dataient de août, et là il m'en a zappé plusieurs il ne les trouve plus alors qu'en août oui, mais j'ai pas encore été voir sur le site si ils y sont encore ou s'ils ont été enlevé (je parle bien sûr du nom de la rom pas du jeu en lui même)

                                        mais dans ton cas, les 5 jeux lynx je les ai scrappé hier sans soucis, chez moi ils sont en zip, il est possible que ça vienne de là car en format zip les 5 là dans mon dossier sont scrappé

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by screech

                                          @Bertille et @sassa effectivement, désolé, c'est un bug que j'ai réintroduit sur l'avant derniere version 😉 (et pour info, il s'agit de l'apostrophe qui faisait ch....)

                                          Mais tout ça c'est bon maintenant 😉

                                          Donc :

                                          UXS V2 en Stable ^^ c'est plus une Beta...

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • johnDoe_1
                                            johnDoe_1 Banned last edited by

                                            @screech Salut, du nouveau concernant le remplacement des images manquantes pour les roms avec une description ... etc dans le .xml ?

                                            En gros l'option pour juste ajouter des images

                                            Bonne soirée

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            80
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com