Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633862
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Mydriaze
      Mydriaze last edited by Mydriaze

      Bonjour bonjour,

      Nouveau sur le forum, je viens pour avoir quelques renseignements concernant ce super outil qu'est le Universal XML Scraper.
      Mon Pi est en réseau, allumé. Je lancé l'outil Universal XML Scraper, tout se passe bien. Sauf que je n'ai aucune jaquette de télécharger, en tout cas je n'en vois aucune apparaître quand je sélectionne un jeu dans ma Recalbox. Une idée d'ou peut venir le problème?

      EDIT: je vois bien les fichiers qui ont été téléchargés à la racine de l'émulateur, donc tout va bien. Mais pourquoi alors je ne les vois pas apparaître sous ma recalbox? C'est un problème de thème non compatible? (j'ai le thème par défaut)

      1 Reply Last reply Reply Quote 0
      • acris
        acris last edited by acris

        @screech
        j'ai téléchargé la dernière version du soft pour scrapper 3345 roms advmame, j'ai configuré avec mon compte.
        je comprend pas pourquoi au bout de 45min il vérifie le hash et quil a fait que 350 roms alors qu'avec des anciennes versions du logiciel en 45 min il avait déjà plus de la moitié.
        J'ai choisi mix 3img
        temps estimé : 4h00 pour ce scrap.
        J'ai testé en semaine le matin de bonne à 5h00 et pareil !

        azvarel 1 Reply Last reply Reply Quote 0
        • azvarel
          azvarel @acris last edited by

          @acris There must have been a problem on the server, it was redoing the SNES and it was super fast already the NES soon after, it was forgotten in time and it is already more than 4 hours and still not finished

          Zodian Theme | #SNESProject

          1 Reply Last reply Reply Quote 0
          • Mydriaze
            Mydriaze last edited by

            C'est possible que ca vienne du serveur car j'ai eu un mal fou a recevoir mon mail après inscription, et pareil pour être loggé dans UXS, j'ai mis une bonne heure avant de pouvoir y accéder.

            Une question s'il vous plait: comment "voir" le mode "mix d'image" dans Recalbox? C'est spécifique a un thème en particulier?

            1 Reply Last reply Reply Quote 0
            • acris
              acris last edited by

              Wouaaaaaaaaa je suis verte , apres avoir perdu toute l apres midi sur le hash , plantage de USX sur un problème de variable non déclaré. Bref une demi journée de perdu.

              azvarel 1 Reply Last reply Reply Quote 0
              • azvarel
                azvarel @acris last edited by

                @acris The same thing happened to me now!

                Zodian Theme | #SNESProject

                azvarel 1 Reply Last reply Reply Quote 0
                • azvarel
                  azvarel @azvarel last edited by

                  @screech
                  It's impossible to do scrap mix 3 img I lost the day and has not yet made 1651 roms of NES and is in 1/3 of what is missing and still says that it finishes in 6 hours

                  Zodian Theme | #SNESProject

                  1 Reply Last reply Reply Quote 0
                  • acris
                    acris last edited by acris

                    @screech
                    je ne comprends pas, j'ai enfin réussi à scapper mes roms advmame (parent only avec neogeo) en choissant mame, cependant les roms neogeo ont pas été scrappé (logique)
                    je recommence en choisissant ajouter les roms manquantes dans la config général puis je choisis neogeo et là
                    il trouve rien enfin si les images c'est bon mais au niveau des noms rien, et il a supprimé ce qui était déjà existant.
                    Logiquement il aurait dû laisser le gamelist.xml et ajouté uniquement ce que je lui demandai

                    <game id="" source="ScreenScraper">
                    	<path>./005.zip</path>
                    	<name> (CLONE, BETA, DEMO, PROTO, TRAD, HACK, UNL)</name>
                    	<desc/>
                    	<image>./downloaded_images/005-image.png</image>
                    	<image/>
                    	<rating>0</rating>
                    	<releasedate>00000000T000000</releasedate>
                    	<developer/>
                    	<publisher/>
                    	<genre/>
                    	<players/>
                    	<region/>
                    	<hidden/>
                    </game>
                    
                    1 Reply Last reply Reply Quote 0
                    • Pepe
                      Pepe @screech last edited by Pepe

                      @screech, @cotedeporc From what I have been able to verify, modifying the parameters of pngquant in config.xml of the Foolscreen mix does not work. It seems as if the foolscreen mix does not get to use pngquant or even it may not be using by UXS. I have modified the settings in the config.xml of each foolscreen mix, I have scraped and just like before the change, there has been no compression in the png. I have passed pngquant by the result with the same parameters that I put in the config xml and compresses the images leaving them to 20%-25% of its weight. It seems that Foolscreen or UXS are not doing all their work well.

                      @cotedeporc On the other hand, in the animated gifs you show, there are mix images that do not exist in UXS: Vectrex, PSP, NGPC etc ...

                      Pepe 1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by

                        @acris
                        De ce que je vois tu as du cocher "ajout des roms manquantes"
                        ça te créer ce genre "d'entrée" vide dans le fichier XML
                        Du coup quand tu passe en "Mise à jour" il ne rescrape pas ces roms (qui existe déjà dans ton fichier XML mais vide)
                        Reessaye sans cocher cette option dans ton scrape de départ. (En toute logique, les rom NeoGeo sont des enfants des roms Mame... donc il devrait les trouver aussi :S)

                        Tiens moi au courant.

                        @Pepe
                        Where did you make your modification ?
                        You need to do it in the ZIP file.
                        (For exemple, open one MIX profil with winzip, open the config file, do your modification, save, and update the zip file)
                        If you do this directly in the MIX folder (not in the zip) every time you open UXS, it will update the Folder by unziping the ZIP file. So you loose you modification.

                        I did some try, and pngquant work well... 😉 so it must work this way 😉

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        Pepe 1 Reply Last reply Reply Quote 0
                        • Pepe
                          Pepe @screech last edited by Pepe

                          @screech The config.xml files that I have modified, have been in the compressed file of the mix, I have decompressed them, modified the config.xml and compressed it again but foolscreen does not compress the png. I say that I do not know if it is a foolscreen or UXS issue for that reason I mentioned @cotedeporc and you.

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            If it doesn't work, I think it's a UXS problem :S

                            Can you copy past your modification ?

                            normally, the standard thing is :
                            <Compression>
                            <use>yes</use>
                            <soft>pngquant.exe</soft>
                            <parameter>--force --verbose --ordered --speed=1 --quality=30-90 --ext .png</parameter>
                            </Compression>

                            So, UXS transform that in :
                            xxxPathtoUXSxxx\Ressources\pngquant.exe --force --verbose --ordered --speed=1 --quality=30-90 --ext .png xxxfiletocompressxxx

                            If you take a look at the logx.txt in the log folder, you must see a line like :
                            [12:05:44] - > PNGQuant command: "C:\Developpement\Github\BIN\Ressources\pngquant.exe" --force --verbose --ordered --speed=1 --quality=30-90 --ext .png "C:\Developpement\Github\BIN\TEMP\MIX3\MIX\screenTEMP.png"
                            [12:05:45] - PNG Optimization (PNGQuant): C:\Developpement\Github\BIN\TEMP\MIX3\MIX\screenTEMP.png(416 KB -> 110 KB)

                            (I just did it to have an exemple ^^)

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • cotedeporc
                              cotedeporc last edited by

                              Hello,

                              I think, but I can't verify it yet, that I disactivate the PNG compression for the FoolScreen Mix.

                              If you put, as @screech says:
                              <Compression>
                              <use>yes</use>
                              it will work.

                              Thème FoolScreen / Squared

                              Pepe 1 Reply Last reply Reply Quote 1
                              • Pepe
                                Pepe @cotedeporc last edited by Pepe

                                @cotedeporc, @screech I apologize for my poor eyesight. In effect compression is disabled in foolscreen Mixes. Corresponding with what I noticed that foolscreen was not compressing the png. I do not understand how I escaped that detail when I modified the compression factor in the mix. I am modifying the mix again to enable compression, when I have been able to scrape again, I will comment the result, which I hope is the correct one.

                                1 Reply Last reply Reply Quote 0
                                • Pepe
                                  Pepe @Pepe last edited by

                                  @Pepe said in [SOFT] Universal XML Scraper V2:

                                  @cotedeporc On the other hand, in the animated gifs you show, there are mix images that do not exist in UXS: Vectrex, PSP, NGPC etc ...

                                  1 Reply Last reply Reply Quote 0
                                  • cotedeporc
                                    cotedeporc last edited by

                                    @Pepe,

                                    If I'm right, I send to @screech, to add this missings Mix to UXS (via GitHub).

                                    @screech,
                                    Is it normal that the new Mixs are not available? It needs a new version?
                                    Maybe I post them in the wrong repo?

                                    Thème FoolScreen / Squared

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      Oups !! My fault...

                                      I had added the MIX, but haven't updated the list and preview...

                                      It's done 😉

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by screech

                                        @cotedeporc Je me suis permis de modifier "légèrement" tes descriptions en y ajoutant un lien sur le sujet de ton Thème 😉

                                        Du coup quand on dl un des mix, dans la fenêtre de sélection, il y a un bouton "Link" en plus qui renvoi sur le fofo 😉

                                        J'ai aussi remis la "source d'inspiration Kent79" présente dans les previews mais plus dans la description... Meme si aujourd'hui ça en est loin, ça fait pas de mal de cité l'inspiration ^^ (l'image de la borne au minimum est de lui ^^)

                                        (ça m'a d'ailleurs permis de voir qu'il y a un bug sur le module de download des MIX : pas de description et l'image empty est identique à la full... faut que je corrige ça :S )

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        cotedeporc 1 Reply Last reply Reply Quote 0
                                        • cotedeporc
                                          cotedeporc @screech last edited by

                                          @screech

                                          Merci pour les modifs/ajout!

                                          Thème FoolScreen / Squared

                                          Pepe 1 Reply Last reply Reply Quote 0
                                          • Pepe
                                            Pepe @cotedeporc last edited by

                                            @cotedeporc, @screech, tested and working everything correctly, thank you guys.

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            82
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com