Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    632813
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • choupisaumon
      choupisaumon @Ramstatlon last edited by

      Bonjour je ne sais pas si quelqu'un connais la solution : moi j'utilise universal xlm scraper qui est tres bien pour les jaquettes sauf pour celles de la pc engine cd , alors dans les anciennes versions XLM les jeux paraissai trop lourd et il s'arretai en jeu mais depuis la derniere version ça passe mais meme s'il arrive a trouver quelques jeux ils n ont jamais d'image de la jaquette et pourtant je sais que c'est possible puisque il y a une personnes qui envoi des torrents de recalbox sur xxxxxx et lui a reussi a en trouver pour les quelque jeux pc engine cd qu il envoi en telechargement mais vu que moi je les ai tous les jeux j'aimerai trop arriver a trouver leurs jaquettes complettes car c'est le seul truc qui me manque sur mon recalbox

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by

        @choupisaumon essaye ça : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/ISO-Scrape-Freeze-or-are-very-long
        Et si ça ne marche pas, essaye de décocher la "sélection automatique du système" dans la config générale pour préciser la plateforme que tu scrape.

        @akh150 Effectivement, ça semble plutôt "lent" mais il te faut vraiment "peu" de proposition pour obtenir 2 Threads Supplémentaire 😉 (une simple traduction de synopsis de Anglais à FR ça se fait vite 😉 voir un syno depuis Wikipedia ;)... ça fait plaisir à tous le monde d'avoir plus de syno en FR, et en plus ça te file des threads 😉 )
        On est sur un système "gagnant/gagnant" ceux qui participe scrape plus vite, et ça améliore la BDD pour tout le monde 😉

        @Ramstatlon effectivement, je n'avais jamais remarqué... je me le note pour corriger dans la prochaine version 😉

        @Larlouch normalement, le fait qu'ils soient merge ne devrait pas poser de problème (recherche par nom du fichier zip et si pas trouvé recherche à "l’intérieur" du zip... Par contre, de mémoire, les merge sont plutôt déconseillé sur RB 😉 (ou tu du moins pas très utile)

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        Ramstatlon 1 Reply Last reply Reply Quote 0
        • Arckange84
          Arckange84 last edited by

          Lorsque je scrappe avec UXS v2 la balise <region> est toujours vide. Est-ce normal ?

          1 Reply Last reply Reply Quote 0
          • Ramstatlon
            Ramstatlon @screech last edited by

            @screech sans vouloir pousser, crois-tu qu il serais possible de l afficher jj/mm/aaaa au lieu de mm/jj/aaaa comme c est actuellement le cas.
            Ou ca se decide dans le theme.xls?

            recalboxOS 4.0.0-beta6
            Raspberry pi 3
            manettes 8Bitdo SCF30 & NES30 Pro

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by

              @Arckange84 non, ce n'est pas normal (mais ça dépend de la plateforme que tu scrape)
              En toutes logiques, beaucoup de Roms ont l'information sur leur région. Malheureusement pas toute (Il est facile pour nous de dire que Mario(j).zip est la version jap, mais mario.zip.... Il faut avoir la rom avec le même CRC et "trouver" qu'elle région est concernée....)
              N'hesite pas d'ailleurs à proposer directement sur http://www.screenscraper.fr/ les regions qui pourrait manquer 😉

              @Ramstatlon à ma connaissance, c'est même plus que thème dépendant, je crois que c'est emulationstation dépendant 😉 normalement UXS le mets dans un format "normal" pour qu'ES puisse le gérer... Mais il faut que je check (Il y a aussi un problème quand on a que l'année... c'est dans les bug que je dois corriger...)

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • metra105
                metra105 last edited by

                Bonjour, j'ai un soucis avec XML v2 lorsque je veux scrapper tout les système j'ai une erreur line. Sa fonctionne bien avec une console uniquement. Pouvez vous m'aider svp.
                Merci

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  @metra105 oui, le scrape "tout système" est cassé... Il faut que je le répare ^^ désolé (tu peux néanmoins scraper les système 1 par 1 😉 )

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  kevinnash 1 Reply Last reply Reply Quote 0
                  • metra105
                    metra105 last edited by

                    Ok par contre c'est normal que ce soit si long je met 2 heure pour 400 roms environs

                    1 Reply Last reply Reply Quote 0
                    • cotedeporc
                      cotedeporc last edited by

                      Salut @screech,

                      Je rencontre un petit bug avec l'ajout de texte.
                      Lorsque j'affiche le nom du jeu (balise: Data/jeu/nom), il me mange, quasiment 1 fois sur 2, le dernier caractère.

                      Dans le gamelist, pas de problème, le nom est complet. Le problème s'applique aléatoirement et non sur des roms précises.
                      Et il ne me semble pas avoir remarqué d'erreur dans les logs.

                      Merci!

                      Thème FoolScreen / Squared

                      1 Reply Last reply Reply Quote 0
                      • johnDoe_1
                        johnDoe_1 Banned last edited by johnDoe_1

                        @screech c'est normal que dans le dossier gamelist.xml que j'ai autant de <game />

                        J'ai scrape un dossier et dans mon gamelist.xml j'ai 134 lignes avec <game /> et aucunes descriptions, pourtant les images sont là et dans d'autres fichiers j'ai aussi une centaine de lignes avec <game />

                        1 Reply Last reply Reply Quote 0
                        • stamstamstam
                          stamstamstam last edited by

                          Le jeu DoDonPachi n'existe pas pour PS1, serait-il possible de l'ajouter?

                          paradadf 1 Reply Last reply Reply Quote 0
                          • paradadf
                            paradadf Staff @stamstamstam last edited by

                            @stamstamstam
                            https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/Rom-Missing-on-Screenscraper

                            If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                            1 Reply Last reply Reply Quote 0
                            • johnDoe_1
                              johnDoe_1 Banned last edited by johnDoe_1

                              C'est bizarre, j'ai renommé mes jeux PSX qui certains avaient des noms bizarres un truc beaucoup plus propre et Universal XML Scraper V2 ne semble pas trouver l'image alors qu'avant, aucun problème ...

                              ça serait super de rajouter une fonction pour que l'on scrape manuellement, exemple prenons : CTR : Crash Team Racing (qui avant, Universal XML Scraper V2 trouvait les informations et maintenant non)

                              La fonction serait de garder le dossier à scraper, pour l'exemple : PSX

                              Ensuite d'avoir une autre catégorie avec tous nos jeux de ce dossier qui sont listés, de choisir notre jeu, toujours dans l'exemple : CTR : Crash Team Racing

                              D'aller sur https://www.screenscraper.fr, de chercher notre jeu dans la section : JEUX

                              D'aller sur la fiche du jeu CTR : Crash Team Racing, copier coller l'URL https://www.screenscraper.fr/gameinfos.php?plateforme=57&gameid=19266 dans Universal XML Scraper V2 et le logiciel va chercher les informations de cette fiche pour le jeu que j'aurai au préalablement choisi tout en scrapant les informations de la page que je lui aurais attitrait

                              Après le logiciel télécharge l'image, les informations et les ajoutes dans le gamelist.xml sans effacer le gamelist.xml ou autre, simplement un ajout de rom ou ajout d'image

                              Je ne sais pas si tu vois l'idée @screech ? Tu en penses quoi ? Car là c'est un peu jouer au yoyo pour avoir le scrape

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                @Genetik57 Le but, à terme, c'est qu'UXS ne fasse plus de recherche par "nom".
                                Le meilleur "unique ID" reste le hash du fichier. c'est fiable et permet un match à 100% sans erreur.
                                (Exemple : certains jeux peuvent etre en doublon avec des noms identiques mais ne sont pas du tout les memes... Je pense par exemple à Tetris ou il existe de nombreuse version avec des noms identiques mais pas du tout les meme jeux (sur Nes il existe 2 Tetris par exemple, un "officiel" Nintendo et un "non officiel" mais qui permet de jouer à 2, pourtant les 2 jeux portent le même nom))

                                Du coup, une gestion par "nom" de jeux n'est pas du tout recommandé.

                                Quand à un scrape de jeu "unique" par Id par exemple, ce n'est pas encore prévu 😉

                                @stamstamstam j'ai plein d'import à faire 😉 je m'en occuppe ce matin 😉

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                johnDoe_1 1 Reply Last reply Reply Quote 0
                                • OcEaN
                                  OcEaN last edited by

                                  @screech said in [SOFT] Universal XML Scraper V2:

                                  (Exemple : certains jeux peuvent etre en doublon avec des noms identiques mais ne sont pas du tout les memes... Je pense par exemple à Tetris ou il existe de nombreuse version avec des noms identiques mais pas du tout les meme jeux (sur Nes il existe 2 Tetris par exemple, un "officiel" Nintendo et un "non officiel" mais qui permet de jouer à 2, pourtant les 2 jeux portent le même nom))

                                  Pourquoi ne pas lister tout les jeux qui correspondent a la recherche, avec un petit aperçu dans UXS, afin de choisir celui qu'on souhaite réellement scraper?

                                  1 Reply Last reply Reply Quote 0
                                  • johnDoe_1
                                    johnDoe_1 Banned @screech last edited by

                                    @screech Salut,

                                    "Quand à un scrape de jeu "unique" par Id par exemple, ce n'est pas encore prévu ;)" Donc ça veut dire que c'est en préparation ? 🙂

                                    ça serait une bonne fonction car sinon il faudrait changer de rom pour avoir un hash qui concorde avec un hash du site ou rajouter tout simplement le nom de release avec les différents hash sur ScreenScraper mais impossible de le faire en tant que membre

                                    J'ai aussi une autre fonction en tête, on garde le même esprit, répertoire de jeu (PSX), on sélectionne le jeu (CTR : Crash Team Racing) et on ouvre l'éditeur, on ajoute les informations un peu comme sur le site et hop, le logiciel s'occupe de faire la transformation d'image et d'ajouter les descriptions ... etc Mais se qui serait d'autant plus cool, prenons l'exemple d'un jeu non répertorié sur PSX

                                    Bomberman - Party Edition (USA)
                                    E0CEBA6E448677F3D938B1DD176BE3AF (MD5)
                                    53A509DBE859F773856F26D966F5EDACBC701B4E (SHA1)

                                    Quand on l'édit via l'éditeur, une fois terminé, le site reçoit les informations que j'ai ajoutées et après validation par la modération, celle-ci ajoute le jeu non répertorié (donc il répertorie un nouveau jeu, nouvelle fiche) et la fiche apparaît sur le site

                                    Ce serait cool aussi de pouvoir faire la même pour ajouter de nouveaux noms de releases ou de nouveaux MD5 ... etc

                                    1 Reply Last reply Reply Quote 0
                                    • azvarel
                                      azvarel last edited by

                                      Hi @screech,

                                      problems with uxs to do scraper for sega cd / pc engine / psx only 10% is managed the scraper using the mix (3img)

                                      I could not find the mystery, I tried to redo it several times and without solution

                                      Zodian Theme | #SNESProject

                                      1 Reply Last reply Reply Quote 0
                                      • kevinnash
                                        kevinnash @screech last edited by

                                        @screech said in [SOFT] Universal XML Scraper V2:

                                        @metra105 oui, le scrape "tout système" est cassé... Il faut que je le répare ^^ désolé (tu peux néanmoins scraper les système 1 par 1 😉 )

                                        Hello screech, as-tu pu réparer le scrap all cassé ?

                                        J'ai aussi remarqué que les images sont tout le temps en .png même si on choisit . jpg

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          Hello Every one.

                                          Just pull out a fresh new release (v2.2.0.0)

                                          What's new :

                                          New Language Set
                                          Now English Language are separated in 2 : English UK and English US. So now it handle correctly the media fallback (exemple : In UK fallback if a cover matching the rom is not found it will take the European one and the world one if not found. In US, it will take the US one and the world one... Same for the game naming)

                                          A complete new Wizard.
                                          I force it at start to make sure every one have a "good" install first.
                                          I put a lot's of "verification" to make sure a standard install can scrape easy.
                                          You can always tweek what you want after that 😉

                                          A New "Options" Menu.
                                          Now you will have a lot's of "easy" tweek" like :

                                          • Mix or not.
                                          • If not Mix : selecting Default picture, alt picture and for Retropie : Marquee and Videos
                                          • Naming convention : Default is "Game Name + Options" so you can tweek the options.
                                          • Name Tag options : Now you can put the country between [], and some tags between () like Clone, Beta, Demo, Proto, Trad, Hack, Unl, Alt, Best. (To come : Clone type and Hack type) -> So normally no more simple duplicate name (for mame for exemple). If still duplicate, it's because we haven't the info in DB. Don't hesitate to submit correction on that on www.screenscraper.fr
                                          • Case for multiple metadata : Default/UPPERCASE/lowercase (depending on Theme, it may matter)

                                          New Profil :
                                          Profil change "a lot"... Not so much modification of existing things, but only 2 profils now : Recalbox/Retropie. With a lot's of new options (at the end).
                                          It create dynamically the option menu.
                                          We loose some "options" but I will put them back later (Like the "rom folder" profil or the "scummvm" profil)... I need to work on these.
                                          Special dedicace to @mattrixk if you have any difficulty with modification on these profil, let me know.

                                          New option in Gen config
                                          It was asked, by default, UXS don't scrape "IN" zip file... So it may not found some game, but it's a way faster with romset like mame.
                                          You can reactivate that in option.

                                          Carbon Wheel on the UI
                                          Now you can know what plateform you are scraping, it put a little carbon wheel on the UI.
                                          This wheel depend on you language preset (so Genesis for US or Megadrive dor UK 😉 )

                                          Some debbuging

                                          • Full Scrape works now ^^
                                          • Full scrape have a good "Result" windows at the end
                                          • Normally no more bug when scrape multiple system in the same session (you don't need to close and reopen UXS)
                                          • Lot's of small debbuging.

                                          To come :

                                          • A new server (actually the small server we have suffer a lot. Specially at Week end) thanks to your donation we migrate soon to a new bigger and dedicated physical server.
                                          • A new API (With the new server, little time after, we will have a new API with a lot's more new stuff to scrape and more easily 😉 )
                                          • A new Error handling (Actually error coming from the API aren't so easy to catch. So with the new API, I can have a better return and so a better information on what's going on when it doesn't work properly)
                                          • lot's of new stuff in UXS 😉

                                          Asking for Help
                                          With this new version, some translation aren't up to date. So if you speak German, Spanish, Dutch, Portugaise, Japanaise or Italian, you are welcome to contribute.
                                          (Juste look in the LanguageFiles Folder. Open the XML correspondinf. The stuff needing translation are at the end 😉 )
                                          If you think my English isn't so good (what is true) don't hesitate to correct the EnglishUK or EnglishUS XML 😉

                                          @kevinnash : Yes c'est réparé 😉
                                          @azvarel : try these solution : Wiki The best way may be to scrape only with "filename" (without the extension) but for that you must have a good naming convention of your rom to match the rom in the DB (You can check directly on www.screenscraper.fr look for your game, and whatch at the very end of the game page. You will have all the referenced game.)
                                          @Genetik57 et @OcEaN : Actuellement le scrape ne peut se baser que sur le hash (CRC, MD5, SHA1) ou sur le nom du fichier. Impossible donc de faire du scrape à la mano en choisissant le jeu.. Peut être plus tard mais ce n'est pas prévu. Par contre, la remontée d'info existe déjà en automatique : Si une rom est scrapé plus de 5 fois par 5 IP différentes et n'est pas référencée, elle est directement proposée aux modérateurs pour ajout.

                                          Thank you guys, and don't hesitate to tell me if something don't work well 😉

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          azvarel 1 Reply Last reply Reply Quote 0
                                          • kevinnash
                                            kevinnash last edited by

                                            Hello screech voila ce que j'ai constaté :

                                            • Les images sont tout le temps en .png même si on choisit . jpg

                                            • Le nombre de threads screenscraper reste à 1 malgré la vérification de ceux-ci lors du wizard.

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            72
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com