Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    657293
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      @GRALLEC Hello,

      Es tu sur que Emulationstation est bien "killé" ?
      Normalement, avant un scrape il te le propose, sinon tu peux le faire depuis le menu SSH.
      Il faut que l’écran de ta recalbox soit "noir" (en tout cas plus dans un menu)
      Sinon au redémarrage il te remet tes anciens gamelist.xml chargé en mémoire :S

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      Djscop62 1 Reply Last reply Reply Quote 0
      • Djscop62
        Djscop62 @screech last edited by

        @screech ça fonctionne avec la version normal via le pc !! :). Par contre j'ai les titres avec (Usa) Europe etc est ce qu'il y a une option à décocher ?
        Merci en tout cas 😊

        GRALLEC 1 Reply Last reply Reply Quote 0
        • GRALLEC
          GRALLEC @Djscop62 last edited by

          @Djscop62 non. Il faut renommer tes ROMs .via windows.
          exemple:
          Castelvania(USA).nes en Castelvania.nes 😉
          Le hic c'est que tu va devoir re-scraper car le gamlist a pris en compte le chemin de fichier comme il est écrit.
          Les seuls qu'il ne faut pas toucher se sont les ROMs MAME et FBA.

          -RPI3

          • RECALBOX 4.1 stable (juillet 2018)
            -Manettes 8Bitdo NES30 PRO et SFC30 xbox 360 sans fil/ stick arcade NES 30 sanwa /NES/SNES/N64 avec retro Adaptateurs
            -SD Scandisk 128
            -SuperPicase retroflag
            -Windows 10
          GRALLEC Djscop62 2 Replies Last reply Reply Quote 0
          • GRALLEC
            GRALLEC @GRALLEC last edited by

            Autre solution que je ne connaissais pas (Maintenant si):
            https://forum.recalbox.com/topic/7346/show-game-region-after-scraping

            -RPI3

            • RECALBOX 4.1 stable (juillet 2018)
              -Manettes 8Bitdo NES30 PRO et SFC30 xbox 360 sans fil/ stick arcade NES 30 sanwa /NES/SNES/N64 avec retro Adaptateurs
              -SD Scandisk 128
              -SuperPicase retroflag
              -Windows 10
            1 Reply Last reply Reply Quote 0
            • Djscop62
              Djscop62 @GRALLEC last edited by Djscop62

              @GRALLEC said in [SOFT] Universal XML Scraper V2:

              @Djscop62 non. Il faut renommer tes ROMs .via windows.
              exemple:
              Castelvania(USA).nes en Castelvania.nes 😉
              Le hic c'est que tu va devoir re-scraper car le gamlist a pris en compte le chemin de fichier comme il est écrit.
              Les seuls qu'il ne faut pas toucher se sont les ROMs MAME et FBA.

              Non mes roms n'ont pas l'extension (USa) mais elle s'affiche sur la raspberry (etrange), hier j'ai testé les options par rapport au tuto ci dessous et tout fonctionne niquel!
              Merci beaucoup

              1 Reply Last reply Reply Quote 0
              • Ramstatlon
                Ramstatlon last edited by Ramstatlon

                En principe c est comme dans le lien mentionne par Grallec, dans options - Nom - format du nom - (la tu choisi entre les choix proposes)
                Ca marchait sur la version 2.2.0.0 si je ne me trompe pas mais ca bug sur la 2.2.0.1.

                Ca fera probablement corrige dans la prochaine maj de Screech.

                Edit: autant pour moi, comme mentionne Djscop ca marche nickel egalement dans la version 2.2.0.1

                recalboxOS 4.0.0-beta6
                Raspberry pi 3
                manettes 8Bitdo SCF30 & NES30 Pro

                1 Reply Last reply Reply Quote 0
                • DarthVad3r
                  DarthVad3r last edited by

                  Bonjour à tous
                  Tout d'abord un grand merci a @screech pour son soft qui est terrible 😉

                  Cependant j'ai un petit souci avec le scrap de certains jeux. Si le nom des jeux contient le caractère ' UXS ne trouve jamais les infos.

                  J'ai également deux idées d'amélioration pour le soft. Reste a voir si c'est faisable ou non.

                  • Avoir dans les options un paramètre qui permet de lancer la recherche SS sur le nom du jeu plutôt que sur le nom de la rom.

                  • Avoir une nouvelle fenêtre qui permet de récupérer les informations d'un ou plusieurs jeux au format gamelist.xml et l'image en fonction de l'id du jeu sur ScreenScraper. Par exemple on mettrait dans un champ texte, une ou plusieurs urls des différents jeux (ou uniquement les ids SS) que l'on souhaite scrapper, on sélectionne une plateforme avec une combobox par exemple et on appui sur un bouton qui lance le scrap des infos et des images.
                    Cela permettrait de scraper manuellement les jeux qui n'ont pas été trouvés par le moteur de scrap auto et qui sont pourtant présents sur ScreenScraper.
                    Une fois les infos récupérées 2 solutions :
                    Soit les infos sont fusionnées avec le gamelist de la plateforme sélectionnée et les images mises dans le dossier downloaded_images de la plateforme.
                    Soit au moment ou on appui sur le bouton, UXS demande un chemin ou stocker le fichier gamelist généré plus les images dans un dossier downloaded_images. Cette solution serait plus simple a mettre en place je pense.

                  En tout cas, c'est un super boulot que tu as fait avec ce soft
                  Merci

                  1 Reply Last reply Reply Quote 0
                  • Chris Johnson
                    Chris Johnson last edited by

                    @screech

                    hi, i tipped 10 Euros on that tipeee website, and i still havent received my 5 threads from it....

                    my username on screenscraper.fr is red2blue and my username on tipeee is also red2blue.

                    1 Reply Last reply Reply Quote 0
                    • Honorbrachios
                      Honorbrachios last edited by Honorbrachios

                      Merci pour le taf, je teste ça sur WINE de suite. Edit : sur 1.9.24 ça marche pas, après il faut tester sur d'autres engines.

                      En passant j'ai vu qu'il ne fallait pas renommer ses romsets, malheureusement ayant déjà mes propres romsets triés et detag depuis un bail et cela marche t il quand même en sachant que les noms des jeux sont restés identiques ?

                      https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)
                      https://forum.recalbox.com/topic/7341/tutoriel-se-connecter-en-ssh-pour-les-nuls-avec-cyberduck-pour-config-txt-osx-et-win

                      1 Reply Last reply Reply Quote 0
                      • Pepe
                        Pepe @screech last edited by

                        @screech said in [SOFT] Universal XML Scraper V2:

                        @Pepe
                        This is a "list" of "things" I use in UXS :
                        External exe (they are IN the UXS executable) :

                        • pngquant.exe

                        @screech I think it would be a good idea since uxs use pngquant, enable png save in indexed mode, is this posible? Mix like foolscreen suited them well for space saving on SD card.

                        cotedeporc 1 Reply Last reply Reply Quote 0
                        • cotedeporc
                          cotedeporc @Pepe last edited by

                          @Pepe

                          I'm interested by your propistion to optimize Foolscreen Mix.
                          If you have the rights parameters, I will be grateful! 😉

                          Thème FoolScreen / Squared

                          Pepe 1 Reply Last reply Reply Quote 0
                          • Pepe
                            Pepe @cotedeporc last edited by

                            @cotedeporc I think allowing to save png images in index mode 8 or 4 bit with dhiter, could help to reduce the amount of SD space needed for big png images like 1280x1024 or bigger, keeping an acceptable quality, especially in the case of 8 bit.

                            1 Reply Last reply Reply Quote 0
                            • cotedeporc
                              cotedeporc last edited by cotedeporc

                              En version GIF :
                              text alternatif

                              Visuels des Mixs UXS:
                              text alternatif

                              Thème FoolScreen / Squared

                              azvarel cotedeporc 2 Replies Last reply Reply Quote 1
                              • azvarel
                                azvarel @cotedeporc last edited by

                                G R E A T J O B

                                =D

                                Zodian Theme | #SNESProject

                                1 Reply Last reply Reply Quote 0
                                • cotedeporc
                                  cotedeporc @cotedeporc last edited by

                                  Oups!
                                  Désolé, je me suis trompé de sujet pour poster les aperçus de mon thème.

                                  SI un modo pouvais l'effacer, ce serait parfait.

                                  Merci et désolé.

                                  Thème FoolScreen / Squared

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    Sorry Guys (and girlz), I were on Holiday 😉 and had a Hard drive failure at my come back 😞

                                    But I'm back ^^

                                    So :

                                    @DarthVad3r
                                    Impossible. Ce n'est pas comme ça que fonctionne l'API et je pense qu'elle ne fonctionnera jamais comme ça. l'idée est d'avoir un HASH fiable pour identifier de maniere correcte une rom.
                                    Cela passe donc par en premier lieu le Hash, et en deuxieme lieu le nom du fichier de la Rom (qui normalement est "plus unique" que le nom du jeu et permet d'avoir plus d'info (exemple : le tag sur la region)

                                    Acutellement l'API ne permet pas de retourner une data via une ID (uniquement Hash/nomdefichier) donc pas prévu pour tout de suite...

                                    @Chris-Johnson
                                    Is it solved ?

                                    @Honorbrachios
                                    Les noms des jeux importent peu pour la recherche seul le HASH ou le nomdefichier sont utilisé. Du coup avec "juste" du renaming, il ne va trouver que par le HASH... (pas bonne idée de renommer ses roms 😉 never 😉 le scrape est la pour ça 😉 )

                                    @Pepe
                                    Look in the Mix file you use for the config.xml
                                    Open it 😉
                                    and look for this :
                                    <Compression>
                                    <use>yes</use>
                                    <soft>pngquant.exe</soft>
                                    <parameter>--force --verbose --ordered --speed=1 --quality=30-90 --ext .png</parameter>
                                    </Compression>

                                    As you see you can put your own parameter 😉 and even choose an other software like optipng as post action 😉

                                    @cotedeporc
                                    Nice job dude 😉

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    Pepe 1 Reply Last reply Reply Quote 0
                                    • jackalpret
                                      jackalpret Translator last edited by

                                      Hi ! I'm trying to use UXS and it stay in Please Wait ... testing server connection ...
                                      I was when I confirm platform to scrap

                                      And nothing happend 😞

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        Hi @jackalpret
                                        Can you check your firewall or antivirus ?
                                        It's not normal 😉

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        jackalpret Pepe 2 Replies Last reply Reply Quote 0
                                        • jackalpret
                                          jackalpret Translator @screech last edited by

                                          @screech said in [SOFT] Universal XML Scraper V2:

                                          Hi @jackalpret
                                          Can you check your firewall or antivirus ?
                                          It's not normal 😉

                                          maybe is memory problem.
                                          I was running in ubuntu with virtualbox (win7) , and If I tried with only 6 files/roms in mame it works, but when I have 2000 roms it doesnt work

                                          1 Reply Last reply Reply Quote 0
                                          • johnDoe_1
                                            johnDoe_1 Banned last edited by

                                            @screech Salut, est-ce que le problème de scrape mix est fixé depuis ?

                                            Mon ancien message :

                                            "Je ne sais pas si c'est un bug mais par moment, le logiciel me sort une image de la jaquette alors que je suis en 4img, ensuite il reprend les 4img normalement et des fois il recommence, une jaquette et op, du 4img

                                            Et quand je recommence, il me remplace la jaquette par une 4img et peut faire l'inverse avec une 4img en jaquette"

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            74
                                            Online

                                            99.7k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com