Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    632853
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • paradadf
      paradadf Staff @8bit_astronaut last edited by

      @8bit_astronaut just choose to update de XML file instead of creating a new file. In general configuration I believe.

      If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by

        @8bit_astronaut yes, @paradadf is right 😉

        Just go to general configuration, and in "scrape mode" choose "update XML File (with new rom)" and scrape 😉

        It will just add Rom that are not in the XML...

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        8bit_astronaut 1 Reply Last reply Reply Quote 0
        • 8bit_astronaut
          8bit_astronaut @screech last edited by

          @screech it Will add roms that atm wasnt on the database, but now they are?

          1 Reply Last reply Reply Quote 0
          • Ramstatlon
            Ramstatlon last edited by

            Bonjour a tous,

            bravo pour le travail que tu effectue Screech, j ai vu le resultat sur Youtube et j en salive d avance..
            https://www.youtube.com/watch?v=PuEKmjXLVNk

            Par contre le theme ne FullBackground-Theme-master ne passe passe chez moi.. 😕
            C est bien a ce lien que l on doit le telecharger?
            https://github.com/Universal-Rom-Tools/FullBackground-Theme

            J ai des fonds blancs a tous les ecrans (selection de la console et selectin des jeux), aucun font d ecriture, aucune image a part celle cree par UXML et le Mix Image "Full Back" mais ces images ne sont pas redimensionnes en fond d ecran et sont donc trop petites.
            Quelau un aurait-il une idee de ce que je fais de travers?

            Je precise que pour l instant, je n ai mis que quelques rom NES et ne scrap que ce systeme NES.

            Une autre question toujours sur le template full back et le theme FullBackground-Theme-master , avant de scrapper, on doit preciser la taille des images a generer en fonction de la taille son ecran comme ou on peut le laisser en 1920*1080 commen mentionne par defaut dans configuration/pictures configuration de UXML?

            recalboxOS 4.0.0-beta6
            Raspberry pi 3
            manettes 8Bitdo SCF30 & NES30 Pro

            1 Reply Last reply Reply Quote 0
            • allage
              allage Banned @screech last edited by

              @screech
              OK. Je l'ai remarqué le problème.
              En ce qui concerne les traductions de ROMs, je commencé à poster sur le site, tout comme la traduction.
              Si toute l'aide quam sais que nous tous roms dans les principales langues.
              Pour l'instant je traduit et affiché tous la lettre "A" MasterSystem.

              1 Reply Last reply Reply Quote 0
              • sassa
                sassa last edited by sassa

                @screech il est actif sur le full black le truc pour réduire les png (je sais pas le nom lol) ? car mes images font toujours à peu près la même taille qu'avec la v1, à moins que ça ne fonctionne que sur les autres profils et pas celui-ci

                et aussi des news de pourquoi même si je coche la case ajout des roms manquantes qu'elles ne se mettent pas dans le gamelist comme avant (avec la v1 il ajoutait le nom de la rom et il faisait une images avec juste la console seule dans le dossier des images)

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  @8bit_astronaut normally, if the rom isn't in gamelist.xml when you scrape in "update mode" it will add it.. But if you have a not complete rom (like you scrape and have only the number of player for exemple) even if we add other information on DB, it will not add them (It's a new function I have to create : "add missing info" to really update your xml but it's not done right now :S)

                  @Ramstatlon essaye ce lien : DarKade Theme

                  @allage Thank you guy for your work on Screenscraper DB 😉 it will be great if every synopsis and information have all there translation ^^

                  @sassa Je vais checker pour pngquant 😉 Et je vais voir ce que je peux faire pour que le missing rom fasse quand même les mix (même vide ^^)

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • sassa
                    sassa last edited by

                    ben peut être qu'il est actif mais en tout cas je me retrouve avec des png de 3-4 mo comme avant, je sais bien qu'il peut pas descendre non plus à 500ko lol mais là on dirait que ça ne fonctionne pas à moins que c'est à cause de la taille (1920*1080)

                    ce serait cool si tu arrives à le remettre pour les manquants 😉

                    ah une dernière chose, quand on clique lors de la première installation sur Universal_XML_Scraper64.exe, tous les fichiers se créent, tu peux me confirmer que dans mon cas avec un windows 64 bits, je dois normalement ensuite cliquer sur Scraper64.exe pour l'ouvrir après chaque fermeture pour le relancer. Car je suis toujours en train d'essayer de forcer bitdefender de le laisser tranquille mais malgré mes multiples autorisations de Scraper64.exe même antivrus désactivé rien se passe quand je clique dessus

                    du coup je zappe le problème en recliquant à chaque fois sur Universal_XML_Scraper64.exe mais à chaque fois comme c'est comme une réinstallation ben je perds mes réglages, je crois que je vais aller demander conseil sur le forum de bitdefender directement car je pige pas que même avec le fichier autorisé et tout de désactivé il ne l'accepte pas lol cette version 2017 doit avoir fumé de la moquette c'est pas possible autrement mdrrrrrrrrrr je regrette mon 2013

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by

                      @sassa Et bien tu te trompe 😉 avec pngquant des images qui faisaient plusieurs mo peuvent être réduite à quelques centaines de ko.
                      Exemple : http://hpics.li/f190697 (250Ko)

                      Et je viens de rechecker, chez moi ça marche :S peut être un problème d’exécutable, je vais checker avec une version compilée 😉 (vérifie aussi peut être que ton antivirus ne le bloque pas... mais bon, il n'y a pas de raison ^^ il n'est pas fait en autoit lui 😉 )

                      concernant le scraper64.exe, ne t’embête surtout pas à le lancer 😉 il ne fera rien du tout... Et même pire, il sera killé au moment du scrape 😉

                      Il s'agit des "moteur de scrape". Ils peuvent être lancé plusieurs fois en parallèle (en fonction du nombre de threads) et c'est eux qui gère la recup de données, la construction du XML et du MIX Image 😉

                      Normalement, le seul soft à lancer c'est "Universal_XML_Scraper64.exe".
                      et normalement, tu ne devrais pas avoir à refaire ta config avec la version que j'ai release hier soir ^^ (il y avait effectivement un petit bug à ce niveau 😉 )
                      En tout cas, au moins jusqu'à la prochaine release ^^

                      Dans la prochaine release, je mettrais le scraper.exe et le scraper64.exe en "caché" ce sera moins litigieux ^^

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • 8bit_astronaut
                        8bit_astronaut last edited by

                        Its ok 🙂
                        I was wondering, maybe i can help you with the translation of the program yo spanish (?)
                        Send me a private message if you need some help, ill Be glad to help you

                        1 Reply Last reply Reply Quote 1
                        • screech
                          screech last edited by

                          @8bit_astronaut
                          Spanish translation is already done in the last release 😉

                          But like @allage you are welcome on Screenscraper DB we need all good will to help us... And Not so much of us speak spanish 😉 so if you want nice synopsis in spanish 😉 just come (with your friend ^^) and help us 😄

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          Ramstatlon 1 Reply Last reply Reply Quote 0
                          • Ramstatlon
                            Ramstatlon @screech last edited by

                            @screech Ca marche nickel avec ton lien.
                            https://github.com/Universal-Rom-Tools/DarKade-Theme/archive/master.zip

                            J ai fait un 1er test qui m a donne des images mal dimensionnees mais ca a marche!
                            Je l ai refait avec la taille de ma TV en 1920x1080 et c est magnifique!
                            Mais du coup, ca ne marchera que sur des ecrans qui ont la meme resolution que celle que j aurais renseigner dans UXML Scraper? Il faudra rescrapper en cas de changement de resolution?

                            J ai une autre question, est-il possible de modifier les musiques en utilisant des musiques au format .ogg comme avec le theme de base Recalbox?

                            Pas sur que cette langue t interesse pour les traductions mais je vis a Bratislava et je parle Slovaque.
                            Je vais tester le UROM Cleaner pour trier mes roms et scrapper tout le week end! Merci pour le travail effectue

                            recalboxOS 4.0.0-beta6
                            Raspberry pi 3
                            manettes 8Bitdo SCF30 & NES30 Pro

                            choupisaumon 1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              @Ramstatlon effectivement, il faut bien penser à mettre sa résolution d’écran avant le scrape. Les images étant "construite" pour cette résolution elle s'adapterons parfaitement dans le thème.

                              Si malheureusement tu change de résolution, effectivement, il faudra refaire le scrape avec la nouvelle... pas trop le choix 😞

                              Pour les musiques, ça doit être possible 😉 mais concrètement, j'ai simplement adapté le thème de @Nachtgarm pour mettre les images en plein écran au fond ^^

                              Quand au Slovaque, je ne sais pas du tout s'il y a une communauté retrogaming à Bratislava (il y a au moins toi 😉 ) mais si tu veux t'amuser à faire la traduction, je l'ajouterais ^^
                              (Et je demanderais à MarbleMad, le développeur de la base de données d'ajouter le slovaque comme langue prise en charge pour les synopsis ^^ je suis sur qu'il sera contant^^)

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • supernature2k
                                supernature2k last edited by

                                Hi @screech , j'ai lancé cette v2 (pas encore full scrappé) mais en tout cas l'interface est sympa et il y a plein de bonnes options 🙂

                                Je vais tenter un full scrap demain!

                                Merci pour l'énorme taf pour la communauté 🙂

                                Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                Upvote messages if it has been useful ;)

                                1 Reply Last reply Reply Quote 0
                                • sassa
                                  sassa last edited by

                                  @screech effectivement avec la 2.0.0.3 je n'ai plus le soucis de devoir refaire la configuration au lancement

                                  Et j'ajouterais problème résolu pour l'antivirus car il me détectait l'application scraper64.exe en malveillante quand je cliquais dessus sinon il restait tranquille mais comme y'avait pas besoin de cliquer dessus tout est bon alors comme le pare feu m'autorise automatiquement le universal scraper 64 depuis que je l'ai passé sur autoriser au lieu de refuser

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    New Beta 2.0.0.4 :

                                    Corrected :
                                    Include/Exclude Label Size to small in generale config
                                    PngQuant in MIX profil don't work
                                    Size and quality for MaxResize MIX profil doesn't work very well
                                    Added :
                                    Help, Thanks, and support Menu
                                    Cache function (by default) It use the DigiMirror
                                    Uppercase option for some text info (in Option Menu)
                                    Hide Scraper.exe and Scraper64.exe to not confuse...

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • Yoakin
                                      Yoakin last edited by

                                      Hi.
                                      I am getting exeptions with the new version. (previous version worked fine)
                                      Whenever I try to do a scrap, it runs into this error:

                                      Line 443 - If StringLower($vCompression) = "yes" Then _Compression($aMi ...

                                      Module: Main/

                                      (File "H:\EmulationStation\Games_scraper\Scraper443 - If StringLower($vCompression) = "yes" Then _Compression($aMi ...•

                                      .exe"):

                                      Error: Array variable has incorrect number of subscripts or subscript dimension range exceeded.

                                      Environment( AutoIt:3.3.14.2 - Language:0407 - Keyboard:00000407 - OS:WIN_10 / CPU:X64 - OS:X64 )

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        arg ... need to check :S

                                        with wich profil ?

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • Yoakin
                                          Yoakin last edited by

                                          It was "ScreenScraper(Mix) - Recalbox v4". I was using the Standard (3img) Mix Image.

                                          1 Reply Last reply Reply Quote 0
                                          • sassa
                                            sassa last edited by

                                            ah ben voilà avec cette 2.0.0.4 mes png sont cette fois bien petit en taille cool merci screech !!!!!!

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            77
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com