Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    657293
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Honorbrachios
      Honorbrachios last edited by Honorbrachios

      Merci pour le taf, je teste ça sur WINE de suite. Edit : sur 1.9.24 ça marche pas, après il faut tester sur d'autres engines.

      En passant j'ai vu qu'il ne fallait pas renommer ses romsets, malheureusement ayant déjà mes propres romsets triés et detag depuis un bail et cela marche t il quand même en sachant que les noms des jeux sont restés identiques ?

      https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)
      https://forum.recalbox.com/topic/7341/tutoriel-se-connecter-en-ssh-pour-les-nuls-avec-cyberduck-pour-config-txt-osx-et-win

      1 Reply Last reply Reply Quote 0
      • Pepe
        Pepe @screech last edited by

        @screech said in [SOFT] Universal XML Scraper V2:

        @Pepe
        This is a "list" of "things" I use in UXS :
        External exe (they are IN the UXS executable) :

        • pngquant.exe

        @screech I think it would be a good idea since uxs use pngquant, enable png save in indexed mode, is this posible? Mix like foolscreen suited them well for space saving on SD card.

        cotedeporc 1 Reply Last reply Reply Quote 0
        • cotedeporc
          cotedeporc @Pepe last edited by

          @Pepe

          I'm interested by your propistion to optimize Foolscreen Mix.
          If you have the rights parameters, I will be grateful! 😉

          Thème FoolScreen / Squared

          Pepe 1 Reply Last reply Reply Quote 0
          • Pepe
            Pepe @cotedeporc last edited by

            @cotedeporc I think allowing to save png images in index mode 8 or 4 bit with dhiter, could help to reduce the amount of SD space needed for big png images like 1280x1024 or bigger, keeping an acceptable quality, especially in the case of 8 bit.

            1 Reply Last reply Reply Quote 0
            • cotedeporc
              cotedeporc last edited by cotedeporc

              En version GIF :
              text alternatif

              Visuels des Mixs UXS:
              text alternatif

              Thème FoolScreen / Squared

              azvarel cotedeporc 2 Replies Last reply Reply Quote 1
              • azvarel
                azvarel @cotedeporc last edited by

                G R E A T J O B

                =D

                Zodian Theme | #SNESProject

                1 Reply Last reply Reply Quote 0
                • cotedeporc
                  cotedeporc @cotedeporc last edited by

                  Oups!
                  Désolé, je me suis trompé de sujet pour poster les aperçus de mon thème.

                  SI un modo pouvais l'effacer, ce serait parfait.

                  Merci et désolé.

                  Thème FoolScreen / Squared

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Sorry Guys (and girlz), I were on Holiday 😉 and had a Hard drive failure at my come back 😞

                    But I'm back ^^

                    So :

                    @DarthVad3r
                    Impossible. Ce n'est pas comme ça que fonctionne l'API et je pense qu'elle ne fonctionnera jamais comme ça. l'idée est d'avoir un HASH fiable pour identifier de maniere correcte une rom.
                    Cela passe donc par en premier lieu le Hash, et en deuxieme lieu le nom du fichier de la Rom (qui normalement est "plus unique" que le nom du jeu et permet d'avoir plus d'info (exemple : le tag sur la region)

                    Acutellement l'API ne permet pas de retourner une data via une ID (uniquement Hash/nomdefichier) donc pas prévu pour tout de suite...

                    @Chris-Johnson
                    Is it solved ?

                    @Honorbrachios
                    Les noms des jeux importent peu pour la recherche seul le HASH ou le nomdefichier sont utilisé. Du coup avec "juste" du renaming, il ne va trouver que par le HASH... (pas bonne idée de renommer ses roms 😉 never 😉 le scrape est la pour ça 😉 )

                    @Pepe
                    Look in the Mix file you use for the config.xml
                    Open it 😉
                    and look for this :
                    <Compression>
                    <use>yes</use>
                    <soft>pngquant.exe</soft>
                    <parameter>--force --verbose --ordered --speed=1 --quality=30-90 --ext .png</parameter>
                    </Compression>

                    As you see you can put your own parameter 😉 and even choose an other software like optipng as post action 😉

                    @cotedeporc
                    Nice job dude 😉

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    Pepe 1 Reply Last reply Reply Quote 0
                    • jackalpret
                      jackalpret Translator last edited by

                      Hi ! I'm trying to use UXS and it stay in Please Wait ... testing server connection ...
                      I was when I confirm platform to scrap

                      And nothing happend 😞

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        Hi @jackalpret
                        Can you check your firewall or antivirus ?
                        It's not normal 😉

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        jackalpret Pepe 2 Replies Last reply Reply Quote 0
                        • jackalpret
                          jackalpret Translator @screech last edited by

                          @screech said in [SOFT] Universal XML Scraper V2:

                          Hi @jackalpret
                          Can you check your firewall or antivirus ?
                          It's not normal 😉

                          maybe is memory problem.
                          I was running in ubuntu with virtualbox (win7) , and If I tried with only 6 files/roms in mame it works, but when I have 2000 roms it doesnt work

                          1 Reply Last reply Reply Quote 0
                          • johnDoe_1
                            johnDoe_1 Banned last edited by

                            @screech Salut, est-ce que le problème de scrape mix est fixé depuis ?

                            Mon ancien message :

                            "Je ne sais pas si c'est un bug mais par moment, le logiciel me sort une image de la jaquette alors que je suis en 4img, ensuite il reprend les 4img normalement et des fois il recommence, une jaquette et op, du 4img

                            Et quand je recommence, il me remplace la jaquette par une 4img et peut faire l'inverse avec une 4img en jaquette"

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              Ce n'est pas logique (et à priori anormal) il faut que je check 😉
                              Mais normalement, s'il n'arrive pas à générer le MIX, il prend l'image alternative (ex = jaquette 2D)

                              mais si une jaquette 2D existe, alors la 3D aussi 😉 et donc aucune raison qu'il n'arrive pas à générer le MIX.

                              Après il peut s'agir d'autre chose (problème d'espace disque, micro déconnexion, ...)

                              Je vais faire des essais... (dès que je trouverais un peu de temps 😉 )

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • Ben2907
                                Ben2907 last edited by

                                Bonjour,
                                J'ai un problème, j'ai utilisé pour la première fois aujourd'hui ce soft. Lors du scrapping tout a bien fonctionné, les images des jeux se sont bien téléchargés dans les dossiers roms de ma recalbox, cependant, les images et les descriptifs des jeux ne s'affichent pas après avoir rebooté
                                J'avais déjà scrappé quelques jeux sans utiliser XML Scraper et tout s'affichait correctement (en anglais) mais depuis que j'ai fait la manip, il n'y a plus rien
                                Merci d'avance pour votre aide

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  @Ben2907
                                  ça ressemble à un problème de Kill Emulationstation.

                                  Avant de scraper, il faut absolument que Emulationstation soit arrêté.
                                  Normalement UXS le propose avant de scraper (mais, je ne sais pas pourquoi) cela ne fonctionne pas toujours....

                                  Pour vérifier qu'ES est bien arrêté, c'est simple : l’écran de la RB doit être "noir" (tu ne dois plus pouvoir naviguer dans les menu)
                                  Si ce n'est pas le cas, au prochain reboot, tu récupères l'ancien gamelist.xml qu'ES aura stocké en mémoire...

                                  pour l’arrêter : Tu peux le faire avec UXS (menu SSH, ou la question juste avant un scrape) ou manuellement en te connectant en SSH (check le wiki, il y a une fiche la dessus)

                                  n’hésite pas à me tenir au courant.

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  Ben2907 1 Reply Last reply Reply Quote 0
                                  • azvarel
                                    azvarel last edited by

                                    @screech is there possibility to put the flyer of the arcade games in the mix 3 img, in that style?

                                    alt text

                                    Zodian Theme | #SNESProject

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      Yes, it's possible 😉

                                      But you need to create a MIX 😉
                                      (with the system and game logo with rotation, a "deformed" flyer, and a Fix mask...)

                                      I think the only problem right now is the flyer deformation.
                                      Actually, Mix deformation can only handle "parallel" deformation (3 Points) I need to look for a "better" deformation routine to handle 4 points 😉

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • Ben2907
                                        Ben2907 @screech last edited by

                                        @screech
                                        Merci pour la réponse rapide 🙂
                                        Ça y est ça marche, l’arrêt d'ES avec la question juste avant le scrape ne fonctionne pas chez moi, j'ai du le faire avec le menu SSH
                                        Je sais pas si cela a fait quelque chose mais j'ai aussi ouvert UXS en administrateur

                                        Merci encore
                                        Bonne journée

                                        1 Reply Last reply Reply Quote 0
                                        • Mydriaze
                                          Mydriaze last edited by Mydriaze

                                          Bonjour bonjour,

                                          Nouveau sur le forum, je viens pour avoir quelques renseignements concernant ce super outil qu'est le Universal XML Scraper.
                                          Mon Pi est en réseau, allumé. Je lancé l'outil Universal XML Scraper, tout se passe bien. Sauf que je n'ai aucune jaquette de télécharger, en tout cas je n'en vois aucune apparaître quand je sélectionne un jeu dans ma Recalbox. Une idée d'ou peut venir le problème?

                                          EDIT: je vois bien les fichiers qui ont été téléchargés à la racine de l'émulateur, donc tout va bien. Mais pourquoi alors je ne les vois pas apparaître sous ma recalbox? C'est un problème de thème non compatible? (j'ai le thème par défaut)

                                          1 Reply Last reply Reply Quote 0
                                          • acris
                                            acris last edited by acris

                                            @screech
                                            j'ai téléchargé la dernière version du soft pour scrapper 3345 roms advmame, j'ai configuré avec mon compte.
                                            je comprend pas pourquoi au bout de 45min il vérifie le hash et quil a fait que 350 roms alors qu'avec des anciennes versions du logiciel en 45 min il avait déjà plus de la moitié.
                                            J'ai choisi mix 3img
                                            temps estimé : 4h00 pour ce scrap.
                                            J'ai testé en semaine le matin de bonne à 5h00 et pareil !

                                            azvarel 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            75
                                            Online

                                            99.7k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com