Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633140
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Felipe Thomaz Gomes
      Felipe Thomaz Gomes last edited by

      This post is deleted!
      1 Reply Last reply Reply Quote 0
      • caziotbenoit
        caziotbenoit last edited by

        @screech je me permet de revenir vers toi pour mon probleme de scrapping.
        J ai poste il y a quelques jours un message mais apres maintes et maintes recherches je galere encore .
        Quelqu un pourrait il me guider ou me lancer des pistes de recherches svp .

        RPI3 model B;recalbox 4.1;sd scandisk 32go;rom sur usb 64go;
        Pad

        1 Reply Last reply Reply Quote 0
        • caziotbenoit
          caziotbenoit @manunuma last edited by

          @manunuma as tu bien supprimer le fichier xml avant de lancer ton scrap?

          RPI3 model B;recalbox 4.1;sd scandisk 32go;rom sur usb 64go;
          Pad

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            @caziotbenoit dans le menu configuration / Général, tu as une option "auto sélection du système" (ou un truc du genre) 😉
            décoche cette option. Au début du Scrape, il va te demander de quel système il s'agit, sélectionne "neogeo" manuellement 😉 (et si ça ne marche pas, réessaie en sélectionnant Mame)

            @Arckange84 non ce n'est pas normal :S il faut que je vérifie, mais il peut aussi s'agir de ton romset qui n'est pas bien reconnu et qui du coup ne peut récuperer les regions correspondante...

            @Pegoncology oui tout a fait, dans le menu configuration / général, tu as tout en haut à gauche le "fallback" pour les media (et aussi pour la langue). ça se présente comme ça : %COUNTRY%|xx|yy|zz|...
            ça signifie : en premier prend le media correspondant à la région de la rom, si pas trouver prend le pays xx, si pas trouvé le pays yy, si pas trouvé le pays zz,....
            L'espagne ne dois pas etre dans la préconfiguration (en tout cas français, elle y est quand tu choisi la langue espagnole ^^) donc tu peux rajouter un |es en fonction de ton choix (à la fin si tu veux que ça prenne les media espagnole en dernier recours)

            @manunuma Effectivement, ça ressemble à un problème de "Emulationstation" pas quitté 😉 Il faut que l'écran de ta recalbox soit "noir" pendant le scrape (pas dans le menu). Au pire, si ce n'est pas le cas, après ton scrape, fait un "extinction rapide" plutôt qu'un arrêt "normal"

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            caziotbenoit manunuma Arckange84 3 Replies Last reply Reply Quote 0
            • caziotbenoit
              caziotbenoit @screech last edited by

              @screech Merci Beaucoup!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
              Ca marche niquel , je suis un homme ravi!!!!!!!!!!!

              RPI3 model B;recalbox 4.1;sd scandisk 32go;rom sur usb 64go;
              Pad

              1 Reply Last reply Reply Quote 0
              • manunuma
                manunuma @screech last edited by

                @screech en effet le problème vient d'ES non arrêté. Un petit coup de PuTTY, une commande Linux et tout va mieux. Par contre pourquoi US n'arrive pas à le couper tout seul ?

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  @manunuma Excellente question... Surtout que j'utilise PLINK (la version ligne de commande de Putty) et que chez moi je n'ai jamais eu de problème... (Mais j'ai eu plein de retour, dès fois ça marche des fois ça marche pas 😞 )

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • jolentas
                    jolentas @screech last edited by

                    Puis-je copier un code pour mon utilisation?

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by

                      @jolentas désolé, je ne comprends pas du tout ta question :S

                      Un code de quoi ?

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • youyou
                        youyou last edited by

                        Bonjour tout le monde,
                        j'ai un petit souci au niveau de mes scraps. j'utilise la dernière version d'Universal scrap et ça marche super bien (bravo d’ailleurs !)parcontre quand je veux scraper mes jeux fba libretro, je vois que le soft fait bien son travail mais il ne m'affiche pas les notes ni les images. pourtant il m'a bien rajouté des images dans le fichier download-images et je vois que ma gameliste a été modifié.
                        J'ai donc vérifié encore les chemins avec le soft Universal et réitère l'opération plusieurs fois en supprimant même ma gameliste pour qu'il m'en fasse une nouvelle...mais voila même problème à chaque fois.... je m'en remet donc à vous. merci pour vos réponses.

                        1 Reply Last reply Reply Quote 0
                        • Arckange84
                          Arckange84 @screech last edited by

                          @screech J'ai un romset no-intro 2016 et je viens de scrapper à nouveau. Pas de région. Il faut activer un paramètre particulier ?

                          1 Reply Last reply Reply Quote 0
                          • alvina35
                            alvina35 last edited by

                            EDIT : Wrong EXE, I just corrected :S sorry

                            Corrected :
                            Some fallback in language xml
                            Fallback function (problem with standard mix not founding some picture)
                            Added :
                            Possibity to "Fixe" a Size by media in Standard profil with : <Target_Image_Width> and <Target_Image_Height>
                            Running on 2 servers now : Mirror and main server
                            New MIX Possibilty : "Text"
                            rotation GDI Function with <Target_Rotation> directly in the Element.
                            <source_Origin> can be put to "genre"
                            Don't forget to see the Wiki : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/[TUTO]-Making-a-MIX-Template

                            1 Reply Last reply Reply Quote 0
                            • dani31
                              dani31 last edited by dani31

                              Bonjour à tous,

                              1/ Voilà je sèche complètement sur une chose, quand je scrap des jeux PS1 qui ne sont pas au format ISO, comme des CCD + SUB + IMG ou CUE + BIN, bien souvent les jeux sont ignorés.

                              Si je les convertis au format ISO avec ISO Buster, c'est détecté par XML Scraper, mais les jeux qui sont au format CCD + SUB + IMG contiennent bien souvent des données relatifs à des systèmes anti copies, et d'après ce que j'ai lu si conversion au format ISO on perd ces données et donc le jeu ne fonctionnera pas ou aura des problèmes.

                              Pareil pour les jeux comme Resident Evil 3 qui contiennent des fichiers SBI.

                              L'idéal aurait été que le scraper détecte ces jeux sans avoir à faire une quelconque conversion, ou alors il faut trouver des ISO reconnus par XML Scraper, mais alors là bonjour la galère, surtout si on les cherche en français...

                              2/ Quand on scrap avec XML il faut se connecter avec son compte screen scraper ou pas ? J'avais lu un tuto où il était indiqué que ce n'était pas obligatoire, merci.

                              3/ Il est normal qu'énormément de résumés de jeux atari soient en anglais ? (2600, 7800) pareil pour game and watch

                              4/ Le scrap des jeux atari jaguar ne fonctionne pas du tout, la jaguar n'est pas supportée par la recalbox peut-être ?

                              5/ Pareil pour l'atari 5200.

                              Un GRAND Merci pour votre aide, je galère sur ces points 😞

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                @youyou ça ressemble fortement à un probleme de Emulationstation 'non quitté'.
                                2 possibilités :
                                Bien faire attention qu' ES soit quitté avant le scrape (tu doit avoir un écran noir sur ta recalbox avant le scrape)
                                Ou bien faire une 'extinction rapide' après avoir scrappé...
                                Sinon, tes nouveaux fichiers gamelist.xml ne sont pas pris en compte.

                                @Arckange84 Effectivement on m'a déjà remonté le problème... Il faut que je check ça :S (vérifie quand meme que tout est bien coché dans les options de "nom" )

                                @alvina35 Don't understand what you need ^^ sorry...

                                @dani31 :
                                1/ Attention, toutes ces extensions ne sont pas forcement géré par Recalbox (vérifie le fichier lisezmoi du répertoire correspondant pour voir les extensions prises en charge...)
                                Dans tout les cas, tu as la possibilité de "rajouter" des extensions dans UXS pour que ces fichiers soient scrappé (voir dans la configuration générale, en bas à droite) il suffit d'ajouter cdd| aux extensions présentes. Attention cependant, tu risque d'avoir des "doublons" au scrape si tu laisse activé CCD + IMG par exemple.
                                Autre information importante : les dump de CD etant "gros", UXS ne les hash pas forcement, il se base sur le nom du fichier pour récupérer les infos. Et si ces noms ne sont pas référencés dans ScreenScraper, il ne trouvera rien.

                                2/ Ce n'est pas obligatoire, la seule différence : sans log ScreenScraper, tu scraperas tes Roms 1 par 1 (ce qui peut etre long si tu en as beaucoup), Avec un log et quelques participations sur le site de la Base de données, tu augmenteras le nombre de "thread" disponible et tu pourras donc scraper plus rapidement.

                                3/ C'est possible, la BDD Atari n'est certainement pas encore complète, je t'encourage donc à nous filer un coup de main et faire quelques traductions en FR des synopsis des jeux Atari 😉 ça permettra à tous le monde de pouvoir les scrapper, et en bonus ça augmentera ton nombre de thread (voir ci dessus 😉 )

                                4/ La jaguar n'est pas supporté par Recalbox (à ma connaissance), par contre la BDD existe sur ScreenScraper. Mais c'est loin d’être une des plus fournit 😉

                                5/ idem. ScreenScraper va bientot avoir 2 ans 😉 certains systèmes sont les plus complet que tu puisse trouver sur internet (scrapable j'entend). Exemple la Megadrive a la BDD la plus complète que tu ne trouveras nul part ailleurs 😉 Cependant d'autre présente encore quelques lacunes... J'encourage tous ceux qui ont les connaissances, ou même juste un peu de temps à consacrer à l'ajout de media/information/traduction à la BDD à nous rejoindre 😉

                                nous avons même un nouveau forum prêt à vous accueillir pour vous aider si vous avez des questions ou des besoins spécifique lié à la BDD : https://www.screenscraper.fr

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                dani31 1 Reply Last reply Reply Quote 0
                                • dani31
                                  dani31 @screech last edited by dani31

                                  @screech un grand merci à toi.

                                  1/ Pour les isos ps1, toutes les extensions sont reconnues ? Ccd, img, sub, pbp... ? Les titres ps1 doivent être nommés d’une façon plus précise, il y aurait une liste de nom de fichier à donner pour les jeux ps1 ? C’est bizarre car en les convertissant en iso ils sont détectés mais du coup les systèmes anti protection sautent.

                                  Exemple un peu bizarre aussi « resident evil 2 cd1 » est détecté et « resident evil cd2 » non.

                                  2/ En fait pour l’atari 2600 j’avais récupéré un pack de roms et par exemple il y avait le jeu addams family, lui a été détecté et dans un autre pack il y était aussi et du coup il n’avait pas été détecté...

                                  3/ Si un jeu atari 2600 est récupéré en « pal » je suppose que le résumé ne sera pas plus en français que si il est récupéré en USA ?

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    @dani31
                                    1/ La liste des formats reconnus et utilisable par Recalbox sont dans le fichier readme.txt/lisezmoi.txt de chacun des répertoires systèmes de ton répertoire "Rom" sur ta Recalbox. Ainsi tu sauras (en le lisant) si un fichier ccd ou un SUB peut etre utilisé sur Recalbox... Concernant UXS, il peut scraper n'importe quoi (meme des fichier *.tartanpion ), il suffit d'ajouter l'extension dans la config générale comme indiqué dans mon premier message.

                                    2/ Le "matching" des Roms avec la Base de données se fait selon 2 criteres : En premier la Hash de la rom (un calcul qui permet de donner une référence unique à un fichier). Si ce hash n'est pas référencé, UXS essaye avec le nom du fichier pour voir s'il y a une correspondance dans la BDD. Si aucun des 2 c'est que tu as une roms renommée/decompressé/recompressé/rare/provenant d'un site louche 😉

                                    3/ Encore une fois, la base de données n'est pas exhaustive actuellement, nous sommes loin d'avoir 100% des synopsis en français de tous les jeux de toutes les consoles ... (100541 jeux référencés ^^)
                                    On est pas si nombreux que ça a alimenter la base de donnée... donc toute aide est la bienvenue...
                                    Si tu constate des synopsis en FR manquant, n’hésite pas à venir nous donner un coup de main et à l'ajouter à la base de donnée 😉 comme ça ton scrape (et celui de tous les autres) profitera de cette ajout 😄

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • old-school35
                                      old-school35 last edited by

                                      J'arrive pas à lancer "Universal Xscrapper" perso à chaque fois ça me met une fenêtre "Universal X scrapper" a rencontrer un problème et doit fermer....puis peut importe ou je click le logiciel se ferme...
                                      Quelqu'un a une solution?

                                      GRALLEC 1 Reply Last reply Reply Quote 0
                                      • GRALLEC
                                        GRALLEC @old-school35 last edited by

                                        @old-school35 ferme ton anti virus et relance le soft

                                        -RPI3

                                        • RECALBOX 4.1 stable (juillet 2018)
                                          -Manettes 8Bitdo NES30 PRO et SFC30 xbox 360 sans fil/ stick arcade NES 30 sanwa /NES/SNES/N64 avec retro Adaptateurs
                                          -SD Scandisk 128
                                          -SuperPicase retroflag
                                          -Windows 10
                                        1 Reply Last reply Reply Quote 0
                                        • old-school35
                                          old-school35 last edited by

                                          Ok j'essaierai je vous tiens au jus merci.

                                          1 Reply Last reply Reply Quote 0
                                          • DacK
                                            DacK last edited by DacK

                                            Bonjour ami(e)s joueur(s) !

                                            J'ai une petite question pour screech !

                                            Tout d'abord merci pour tes outils, ils sont juste indispensables pour moi, un vrai plaisir de classer/nettoyer et scraper avec tes outils.

                                            Je rencontre juste 2 petits soucis... (enfin je crois...)

                                            Parfois, screen scraper me fait des png "vide" de 93 octets, ils sont là mais illisible...
                                            J'ai d'abord pensé à une absence d'image sur le site Screenscraper mais pour "1080 Snowboarding (Europe) (En,Ja,Fr,De)" par exemple, l'image semble bien présente sur le site... du coup je comprends pas si ça vient de la rom ou du site (surcharge ?)

                                            J'avais déjà scrapé pas mal de roms avant sans jamais rencontrer ça, si la rom était absente il ne faisait pas d'image...

                                            Dernière chose, mes fichiers "missing" sont tous vides... du coup dur de savoir si la rom est manquante sur le site ou si c'est autre chose... j'ai cherché dans les options et quelques tutos mais rien ne fait mention de ça...

                                            D'avance merci,
                                            DacK.

                                            Edit : Ce sont des scrap mix 4 img... je test avec 3 img. 🙂

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            74
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com