Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633278
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      @manunuma Excellente question... Surtout que j'utilise PLINK (la version ligne de commande de Putty) et que chez moi je n'ai jamais eu de problème... (Mais j'ai eu plein de retour, dès fois ça marche des fois ça marche pas 😞 )

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      1 Reply Last reply Reply Quote 0
      • jolentas
        jolentas @screech last edited by

        Puis-je copier un code pour mon utilisation?

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          @jolentas désolé, je ne comprends pas du tout ta question :S

          Un code de quoi ?

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • youyou
            youyou last edited by

            Bonjour tout le monde,
            j'ai un petit souci au niveau de mes scraps. j'utilise la dernière version d'Universal scrap et ça marche super bien (bravo d’ailleurs !)parcontre quand je veux scraper mes jeux fba libretro, je vois que le soft fait bien son travail mais il ne m'affiche pas les notes ni les images. pourtant il m'a bien rajouté des images dans le fichier download-images et je vois que ma gameliste a été modifié.
            J'ai donc vérifié encore les chemins avec le soft Universal et réitère l'opération plusieurs fois en supprimant même ma gameliste pour qu'il m'en fasse une nouvelle...mais voila même problème à chaque fois.... je m'en remet donc à vous. merci pour vos réponses.

            1 Reply Last reply Reply Quote 0
            • Arckange84
              Arckange84 @screech last edited by

              @screech J'ai un romset no-intro 2016 et je viens de scrapper à nouveau. Pas de région. Il faut activer un paramètre particulier ?

              1 Reply Last reply Reply Quote 0
              • alvina35
                alvina35 last edited by

                EDIT : Wrong EXE, I just corrected :S sorry

                Corrected :
                Some fallback in language xml
                Fallback function (problem with standard mix not founding some picture)
                Added :
                Possibity to "Fixe" a Size by media in Standard profil with : <Target_Image_Width> and <Target_Image_Height>
                Running on 2 servers now : Mirror and main server
                New MIX Possibilty : "Text"
                rotation GDI Function with <Target_Rotation> directly in the Element.
                <source_Origin> can be put to "genre"
                Don't forget to see the Wiki : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/[TUTO]-Making-a-MIX-Template

                1 Reply Last reply Reply Quote 0
                • dani31
                  dani31 last edited by dani31

                  Bonjour à tous,

                  1/ Voilà je sèche complètement sur une chose, quand je scrap des jeux PS1 qui ne sont pas au format ISO, comme des CCD + SUB + IMG ou CUE + BIN, bien souvent les jeux sont ignorés.

                  Si je les convertis au format ISO avec ISO Buster, c'est détecté par XML Scraper, mais les jeux qui sont au format CCD + SUB + IMG contiennent bien souvent des données relatifs à des systèmes anti copies, et d'après ce que j'ai lu si conversion au format ISO on perd ces données et donc le jeu ne fonctionnera pas ou aura des problèmes.

                  Pareil pour les jeux comme Resident Evil 3 qui contiennent des fichiers SBI.

                  L'idéal aurait été que le scraper détecte ces jeux sans avoir à faire une quelconque conversion, ou alors il faut trouver des ISO reconnus par XML Scraper, mais alors là bonjour la galère, surtout si on les cherche en français...

                  2/ Quand on scrap avec XML il faut se connecter avec son compte screen scraper ou pas ? J'avais lu un tuto où il était indiqué que ce n'était pas obligatoire, merci.

                  3/ Il est normal qu'énormément de résumés de jeux atari soient en anglais ? (2600, 7800) pareil pour game and watch

                  4/ Le scrap des jeux atari jaguar ne fonctionne pas du tout, la jaguar n'est pas supportée par la recalbox peut-être ?

                  5/ Pareil pour l'atari 5200.

                  Un GRAND Merci pour votre aide, je galère sur ces points 😞

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    @youyou ça ressemble fortement à un probleme de Emulationstation 'non quitté'.
                    2 possibilités :
                    Bien faire attention qu' ES soit quitté avant le scrape (tu doit avoir un écran noir sur ta recalbox avant le scrape)
                    Ou bien faire une 'extinction rapide' après avoir scrappé...
                    Sinon, tes nouveaux fichiers gamelist.xml ne sont pas pris en compte.

                    @Arckange84 Effectivement on m'a déjà remonté le problème... Il faut que je check ça :S (vérifie quand meme que tout est bien coché dans les options de "nom" )

                    @alvina35 Don't understand what you need ^^ sorry...

                    @dani31 :
                    1/ Attention, toutes ces extensions ne sont pas forcement géré par Recalbox (vérifie le fichier lisezmoi du répertoire correspondant pour voir les extensions prises en charge...)
                    Dans tout les cas, tu as la possibilité de "rajouter" des extensions dans UXS pour que ces fichiers soient scrappé (voir dans la configuration générale, en bas à droite) il suffit d'ajouter cdd| aux extensions présentes. Attention cependant, tu risque d'avoir des "doublons" au scrape si tu laisse activé CCD + IMG par exemple.
                    Autre information importante : les dump de CD etant "gros", UXS ne les hash pas forcement, il se base sur le nom du fichier pour récupérer les infos. Et si ces noms ne sont pas référencés dans ScreenScraper, il ne trouvera rien.

                    2/ Ce n'est pas obligatoire, la seule différence : sans log ScreenScraper, tu scraperas tes Roms 1 par 1 (ce qui peut etre long si tu en as beaucoup), Avec un log et quelques participations sur le site de la Base de données, tu augmenteras le nombre de "thread" disponible et tu pourras donc scraper plus rapidement.

                    3/ C'est possible, la BDD Atari n'est certainement pas encore complète, je t'encourage donc à nous filer un coup de main et faire quelques traductions en FR des synopsis des jeux Atari 😉 ça permettra à tous le monde de pouvoir les scrapper, et en bonus ça augmentera ton nombre de thread (voir ci dessus 😉 )

                    4/ La jaguar n'est pas supporté par Recalbox (à ma connaissance), par contre la BDD existe sur ScreenScraper. Mais c'est loin d’être une des plus fournit 😉

                    5/ idem. ScreenScraper va bientot avoir 2 ans 😉 certains systèmes sont les plus complet que tu puisse trouver sur internet (scrapable j'entend). Exemple la Megadrive a la BDD la plus complète que tu ne trouveras nul part ailleurs 😉 Cependant d'autre présente encore quelques lacunes... J'encourage tous ceux qui ont les connaissances, ou même juste un peu de temps à consacrer à l'ajout de media/information/traduction à la BDD à nous rejoindre 😉

                    nous avons même un nouveau forum prêt à vous accueillir pour vous aider si vous avez des questions ou des besoins spécifique lié à la BDD : https://www.screenscraper.fr

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    dani31 1 Reply Last reply Reply Quote 0
                    • dani31
                      dani31 @screech last edited by dani31

                      @screech un grand merci à toi.

                      1/ Pour les isos ps1, toutes les extensions sont reconnues ? Ccd, img, sub, pbp... ? Les titres ps1 doivent être nommés d’une façon plus précise, il y aurait une liste de nom de fichier à donner pour les jeux ps1 ? C’est bizarre car en les convertissant en iso ils sont détectés mais du coup les systèmes anti protection sautent.

                      Exemple un peu bizarre aussi « resident evil 2 cd1 » est détecté et « resident evil cd2 » non.

                      2/ En fait pour l’atari 2600 j’avais récupéré un pack de roms et par exemple il y avait le jeu addams family, lui a été détecté et dans un autre pack il y était aussi et du coup il n’avait pas été détecté...

                      3/ Si un jeu atari 2600 est récupéré en « pal » je suppose que le résumé ne sera pas plus en français que si il est récupéré en USA ?

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        @dani31
                        1/ La liste des formats reconnus et utilisable par Recalbox sont dans le fichier readme.txt/lisezmoi.txt de chacun des répertoires systèmes de ton répertoire "Rom" sur ta Recalbox. Ainsi tu sauras (en le lisant) si un fichier ccd ou un SUB peut etre utilisé sur Recalbox... Concernant UXS, il peut scraper n'importe quoi (meme des fichier *.tartanpion ), il suffit d'ajouter l'extension dans la config générale comme indiqué dans mon premier message.

                        2/ Le "matching" des Roms avec la Base de données se fait selon 2 criteres : En premier la Hash de la rom (un calcul qui permet de donner une référence unique à un fichier). Si ce hash n'est pas référencé, UXS essaye avec le nom du fichier pour voir s'il y a une correspondance dans la BDD. Si aucun des 2 c'est que tu as une roms renommée/decompressé/recompressé/rare/provenant d'un site louche 😉

                        3/ Encore une fois, la base de données n'est pas exhaustive actuellement, nous sommes loin d'avoir 100% des synopsis en français de tous les jeux de toutes les consoles ... (100541 jeux référencés ^^)
                        On est pas si nombreux que ça a alimenter la base de donnée... donc toute aide est la bienvenue...
                        Si tu constate des synopsis en FR manquant, n’hésite pas à venir nous donner un coup de main et à l'ajouter à la base de donnée 😉 comme ça ton scrape (et celui de tous les autres) profitera de cette ajout 😄

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • old-school35
                          old-school35 last edited by

                          J'arrive pas à lancer "Universal Xscrapper" perso à chaque fois ça me met une fenêtre "Universal X scrapper" a rencontrer un problème et doit fermer....puis peut importe ou je click le logiciel se ferme...
                          Quelqu'un a une solution?

                          GRALLEC 1 Reply Last reply Reply Quote 0
                          • GRALLEC
                            GRALLEC @old-school35 last edited by

                            @old-school35 ferme ton anti virus et relance le soft

                            -RPI3

                            • RECALBOX 4.1 stable (juillet 2018)
                              -Manettes 8Bitdo NES30 PRO et SFC30 xbox 360 sans fil/ stick arcade NES 30 sanwa /NES/SNES/N64 avec retro Adaptateurs
                              -SD Scandisk 128
                              -SuperPicase retroflag
                              -Windows 10
                            1 Reply Last reply Reply Quote 0
                            • old-school35
                              old-school35 last edited by

                              Ok j'essaierai je vous tiens au jus merci.

                              1 Reply Last reply Reply Quote 0
                              • DacK
                                DacK last edited by DacK

                                Bonjour ami(e)s joueur(s) !

                                J'ai une petite question pour screech !

                                Tout d'abord merci pour tes outils, ils sont juste indispensables pour moi, un vrai plaisir de classer/nettoyer et scraper avec tes outils.

                                Je rencontre juste 2 petits soucis... (enfin je crois...)

                                Parfois, screen scraper me fait des png "vide" de 93 octets, ils sont là mais illisible...
                                J'ai d'abord pensé à une absence d'image sur le site Screenscraper mais pour "1080 Snowboarding (Europe) (En,Ja,Fr,De)" par exemple, l'image semble bien présente sur le site... du coup je comprends pas si ça vient de la rom ou du site (surcharge ?)

                                J'avais déjà scrapé pas mal de roms avant sans jamais rencontrer ça, si la rom était absente il ne faisait pas d'image...

                                Dernière chose, mes fichiers "missing" sont tous vides... du coup dur de savoir si la rom est manquante sur le site ou si c'est autre chose... j'ai cherché dans les options et quelques tutos mais rien ne fait mention de ça...

                                D'avance merci,
                                DacK.

                                Edit : Ce sont des scrap mix 4 img... je test avec 3 img. 🙂

                                1 Reply Last reply Reply Quote 0
                                • DacK
                                  DacK last edited by DacK

                                  Visiblement pas de soucis en 3 img ! c'est donc un bug j'imagine ?

                                  Par contre, aucun nom dans le dossier missing... 😞

                                  Edit : J'ai 50sc de scrap en moyenne, il y a quelques semaine j'étais plutôt à 10sc... c'est une limitation sur mon ip ? 😄 (j'ai scrapé plusieurs heures par jour depuis quelques jours... en partie à cause de ce délai)
                                  Du coup c'est quand même très long !

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    @Dack es tu enregistré sur Screenscraper ?
                                    Je pense que tes 2 problemes viennent de la 😉
                                    Pour les images qui ont eu un disfonctionnement si tu as scrapé ce WE sans etre "enregistré" ça a pu le provoqué (Le WE le serveur est plus chargé que d'habitude 😉 et du coup, on privilégie les utilisateurs et surtout les contributeurs enregistrés. C'est la "petite" récompense pour nous aider à alimenter la base)

                                    De plus si tu participe ne serait-ce qu'un petit peu à la base de données (quelques medias et/ou informations/traduction de synopsis/Nb de joueurs,...) tu gagnes des "threads" qui te permette de scraper beaucoup plus vite (au lieu de scraper les jeux 1 par 1, avec ne serait ce qu'un thread supplémentaire tu scrape 2 par 2 😉 du coup tu divise presque le temps de scrape par 2 en fonction de ton PC, debit, etc...)

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • DacK
                                      DacK last edited by DacK

                                      Bonjour !

                                      Je suis bien enregistré et logué et je n'ai qu'un thread (enfin je vérifie dès que je peux...)

                                      En effet alors ce serait une surcharge de la base, pas de soucis, je comprends tout à fait que les contributeurs soit prioritaires !

                                      J'ai regardé déjà pour faire des traductions (je me débrouille en anglais) mais j'avoue ne pas comprendre grand chose au site 😄
                                      La base de donnée est tellement vaste que c'est compliqué de savoir où sont les besoins...

                                      Dans tous les cas, merci pour la réponse,
                                      Je tiendrai au courant de mes pérégrinations.

                                      PS : Du coup les "missing" vide, c'est la même cause ?

                                      1 Reply Last reply Reply Quote 0
                                      • daminoutav
                                        daminoutav last edited by daminoutav

                                        Merci le soft fonctionne parfaitement 🙂
                                        Petite question, si on paramètre en ajout seulement (pour aller bien plus vite sur les scraps suivant), si on a supprimé des roms entre temps, elles seront bien supprimées du gamelist ? (c'est pour anticiper la 4.1 où on peut se fier uniquement aux gamelists pour gagner du temps de chargement).
                                        Merci 🙂

                                        kevinnash 1 Reply Last reply Reply Quote 0
                                        • sassa
                                          sassa last edited by sassa

                                          Bonjour tout le monde, voila plusieurs mois que je n'avais pas touché à mes scraps donc mise à jour du logiciel et là... rien ne fonctionne lol manque de bol, voici ce que le logiciel me dit :

                                          text alternatif

                                          mes anciennes versions ne veulent plus fonctionner non plus

                                          une idée de la cause ?

                                          Merci

                                          ps : j'ai pris la version 2.2.0.3 et j'ai aussi re essayé de repartie sur une installation propre

                                          1 Reply Last reply Reply Quote 0
                                          • sassa
                                            sassa last edited by

                                            ah ben j'ai trouvé la solution toute seule comme une grande, en fait cela vient de mon antivirus comme d'hab quoi lol

                                            je donne la solution si ça arrive à d'autres, en fait mon antivirus (bitdefender internet security) le voit comme un malware et l'a donc désinfecté d'où le message d'erreur au lancement.

                                            J'ai tout enlevé et avant de lancer le logiciel pour la première fois, j'ai mis le dossier où il est en liste blanche. Du coup il y touche plus et tout se lance sans soucis 😉

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            90
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com