Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633330
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      @n1md4 2h for 600 Rom is pretty long... Have you a Screenscraper Account ? try this 😉 (and put your ID/Password in the general option)

      @kakoumars Il te suffit d'aller dans les options générales et de mettre le mode de scrape sur "update". Il ne scrapera que les roms qui te manque...

      @cotedeporc normalement, non, pour le genre il n'y a pas besoin d'indiquer le Root du Xpath (déjà présent dans Source_Value, c'est le Data/genres )
      Par contre, il va falloir que je reteste... Vue que j'ai corrigé le système de fallback après avoir ajouté cette fonction, je l'ai peut être cassé ><
      Je teste ça et corrige si besoin ce WE 😉 )
      (Il faut aussi que je vois avec le boss de Screenscraper, pour ajouter les liens directement dans l'API plutôt que dans des listes "à part" ^^ ce sera beaucoup plus simple 😉 )

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      n1md4 1 Reply Last reply Reply Quote 0
      • Takylmor
        Takylmor last edited by Takylmor

        @screech Désolé, tu va dire que je suis chiant, mais comme la version précédente, je n'arrive pas à installer celle ci.
        Lorsque je lance le .exe (en tant qu'admin), ça mouline et rien ne se passe.
        Exactement comme la dernière fois.
        Bien sur cette fois j'ai désactivé tout antivirus et autres protections.

        Alors c'est à rien n'y comprendre.

        Puis-je faire une installe manuel ? (avec tout les fichiers nécessaire)
        Merci

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by

          @Takylmor En fait, il n'y a pas d'install, juste de dépendance qui sont recréer au démarrage si besoin.

          Après, souvent, quand ça plante au démarrage, c'est qu'UXS n'arrive pas à se connecter au server (si tu attends un peu, t'as un message Timeout)

          Et on a eu un petit problème ce matin avec la BDD de log qui pompé trop de ressource.

          Normalement c'est réglé 😉 réessaie 😉

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • johnDoe_1
            johnDoe_1 Banned last edited by

            @screech

            Salut, pas mal l'update avec les mix de @cotedeporc ! (joli boulot !)

            Il y aurait moyen d'avoir plus de mix dans ce même thème pour les autres consoles mais sans la partie vide de gauche (si on ne souhaite pas utiliser le thème qui va avec le mix) s'il vous plait ?

            @cotedeporc ça rend vraiment classe avec tes mix, j'approuve !

            1 Reply Last reply Reply Quote 0
            • n1md4
              n1md4 last edited by

              @screech Is it possible to have just the game box image?

              Wish I'd paid attention in school to French lessons!

              1 Reply Last reply Reply Quote 0
              • Takylmor
                Takylmor last edited by

                Ça ne fonctionne toujours pas.
                je vais rester à l'ancienne, car là ça saoule de redémarrer mon pc à chaque test, pur avoir la même finalité.

                Mais le truc, c'est qu'avec l'ancienne version, quand ça a fini par ce lancer, elle à creer plusieurs fichiers, et maintenant elle fonctionne parfaitement.

                C'est pour ça que je demandais si y avait moyen de sauter la création de fichier, et les mettre manuellement, est ce que le logiciel se lancera ?

                Weedfried 1 Reply Last reply Reply Quote 0
                • kakoumars
                  kakoumars last edited by

                  @screech merci pour l'info ^^ et pour ce super logiciel =D

                  1 Reply Last reply Reply Quote 0
                  • Weedfried
                    Weedfried @Takylmor last edited by

                    @Takylmor si ça peux te rassurer tu n'es pas un cas isolé. J'éprouve moi aussi des difficultés à scraper depuis hier. Mais ça marchait bien avant, je vais donc attendre patiemment que tout rentre dans l'ordre.

                    @screech Bon boulot en tous cas. Jusqu'à présent je scrapais en ssh, mais récemment les résultats de Neo Geo n'étaient plus les même (captures d'écran au lieu de visuels des jaquettes auxquels on m'avait habitué). Pour les autres systèmes rien n'a changé, ça ne concerne que FBA Libretro et Neo Geo. Je vais donc attendre que ton soft soit de nouveau sur pieds.

                    Ramstatlon 1 Reply Last reply Reply Quote 0
                    • Takylmor
                      Takylmor last edited by

                      @Weedfried C'est même pas le fait de scraper qui bloque, c'est l'installation du soft qui plante.
                      Mais je me doute que je ne suis pas le seul dans ce cas, par contre je suis le seul à venir embêter @screech 😉

                      1 Reply Last reply Reply Quote 0
                      • n1md4
                        n1md4 @screech last edited by

                        @screech said in [SOFT] Universal XML Scraper V2:

                        @n1md4 2h for 600 Rom is pretty long... Have you a Screenscraper Account ? try this 😉 (and put your ID/Password in the general option)

                        @Screech Just waiting for my submissions to be validated ... 😆

                        Wish I'd paid attention in school to French lessons!

                        1 Reply Last reply Reply Quote 0
                        • n1md4
                          n1md4 last edited by

                          Also, I'm having trouble scraping ScummVM games. I've set the correct <shortname>.scummvm in each folder, but UXS just seems to fail. Can you let me know the setup that works?

                          Another thing, I've a bunch of SNES titles that are not found, but are present on ScreenScraper. What can I do to fix this?

                          Wish I'd paid attention in school to French lessons!

                          paradadf 1 Reply Last reply Reply Quote 0
                          • paradadf
                            paradadf Staff @n1md4 last edited by

                            @n1md4 for ScummVM creating an empty .scummvm file is not enough. You need to add the long name inside. Check this out:
                            https://forum.recalbox.com/topic/3832/filelist-scrapping-scummvm/

                            About your SNES roms see:
                            https://forum.recalbox.com/topic/3842/how-to-screenscraper
                            (Point 14 is relevant in your case)

                            If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                            n1md4 1 Reply Last reply Reply Quote 0
                            • n1md4
                              n1md4 @paradadf last edited by

                              @paradadf

                              for ScummVM creating an empty .scummvm file is not enough. You need to add the long name inside. Check this out:
                              https://forum.recalbox.com/topic/3832/filelist-scrapping-scummvm/

                              Yes, I've done that, sorry. Like this longname/shortname.scummvm I've used the built-in scraper, and it works - so that's something, but I would like it to work with UXS too, to give a uniform look.

                              About your SNES roms see:
                              https://forum.recalbox.com/topic/3842/how-to-screenscraper
                              (Point 14 is relevant in your case)

                              Ah ha, was going to ask what to do with all the "missing_rom" files I've created 😉

                              Thanks!

                              Wish I'd paid attention in school to French lessons!

                              paradadf 1 Reply Last reply Reply Quote 0
                              • paradadf
                                paradadf Staff @n1md4 last edited by paradadf

                                @n1md4 read the link about ScummVM again. You didn't get what I wrote. The longname must be written in plain text inside the shortname.scummvm file. All those files can be downloaded from that link, so you don't need to bother.

                                If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                                1 Reply Last reply Reply Quote 0
                                • n1md4
                                  n1md4 last edited by

                                  Aaaaah! Thanks for your persistence 😉

                                  Wish I'd paid attention in school to French lessons!

                                  1 Reply Last reply Reply Quote 0
                                  • n1md4
                                    n1md4 last edited by

                                    Still not working, here is exactly what I've done:

                                    ScummVM setup:

                                    i) created a directory for each title
                                    ii) copy game data into each accordingly
                                    iii) create a file with the shortname and .scummvm extension
                                    iv) the content of each .scummvm file has the longname as content

                                    UXS setup:

                                    i) create a profile for Recalbox v4 ScummVM MIX
                                    ii) ensure SSH is set, and ROM paths are correct
                                    iii) choose 1 game or all to scrape

                                    Still this is failing, log creation has failed so can't read that either.

                                    Also, upon a successful scrape, where should there be gamelist.xml and download_pictures ?

                                    Wish I'd paid attention in school to French lessons!

                                    paradadf 1 Reply Last reply Reply Quote 0
                                    • paradadf
                                      paradadf Staff @n1md4 last edited by

                                      @n1md4 can you give me an example? Just to test, I'm scraping the whole batch of .scummvm files from the link I posted before and they are scraping perfectly. Isn't your game on that list? If so, you can compare its content with whatever you have been trying to use. If it isn't there... check the database to see if you game exist.

                                      The gamelist.xml and download_images folder will be inside your scummvm folder.

                                      If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                                      1 Reply Last reply Reply Quote 0
                                      • n1md4
                                        n1md4 last edited by

                                        @paradadf

                                        cat /recalbox/share/roms/scummvm/Beneath\ a\ Steel\ Sky/sky.scummvm
                                        Beneath a Steel Sky

                                        cat /recalbox/share/roms/scummvm/Beneath\ a\ Steel\ Sky/_ScummVM_missing.txt
                                        Beneath a Steel Sky 12:26.00 2016-08-27

                                        Wish I'd paid attention in school to French lessons!

                                        paradadf 1 Reply Last reply Reply Quote 0
                                        • paradadf
                                          paradadf Staff @n1md4 last edited by

                                          @n1md4 there is a bug with that profile. If you use the Recalboxv4(Mix), it will get scraped.

                                          If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                                          1 Reply Last reply Reply Quote 0
                                          • Ramstatlon
                                            Ramstatlon @Weedfried last edited by

                                            @Weedfried said in [SOFT] Universal XML Scraper V2:

                                            @Takylmor si ça peux te rassurer tu n'es pas un cas isolé. J'éprouve moi aussi des difficultés à scraper depuis hier. Mais ça marchait bien avant, je vais donc attendre patiemment que tout rentre dans l'ordre.

                                            Tu as toujours ces meme problemes? Impossible de lancer UXML ce week end, la ca marche mais la plupart des img reviennent toutes noires avec la plupart des mix. Pas mieux sur le digimirror.
                                            Ca marche mieux avec les mix plus simple comme le 2img

                                            recalboxOS 4.0.0-beta6
                                            Raspberry pi 3
                                            manettes 8Bitdo SCF30 & NES30 Pro

                                            Weedfried 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            73
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com