Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633303
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • altair72
      altair72 last edited by

      Je suis actuellement en train de tester Universal XML Scrapper et j'ai besoin de comprendre à partir de quoi le scrapper cherche les jeux.
      J'ai cru comprendre qu'il se basait sur le nom du fichier qui devait être connu de la base de screenscraper.
      Toutefois je me suis amusé à nommer 2 roms : 688 Attack Sub (E) et 688 Attack Sub (U) (non déclarés dans la base de screenscraper) et cela marche quand même ... sauf qu'il m'attribut systématiquement la cover US.

      Donc XML Scrapper est bien capable de matcher le nom du fichier avec sa base de jeux mais ne cherche pas à détecter la région du jeu dans le nom du fichier?

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by

        @Pepe Sorry I have'nt the time to test this WE :S I'll do it as soon as I can.

        @altair72
        Si tu va dans la configuration générale, tu apercevras une option "mode de recherche".
        Tu peux donc choisir : CRC+filename ou filename tout court.
        en CRC + Filename, UXS va calculer le Hash de ton fichier pour le faire correspondre avec une rom connue de la BDD. s'il ne trouve pas il cherchera par le nom du fichier.

        Par conséquent. Si c'est ta rom (U) que tu as renommé en (E), il est tout à fait normal qu'il trouve 2 fois le jeux US (Renommer un fichier ne change pas son CRC).
        ça permet justement aux personnes qui ont "mal" renommer leurs fichiers d'avoir les info correspondant réellement à leurs roms.

        Si tu veux qu'UXS se base uniquement sur le nom de fichier. tu as simplement à choisir Filename dans le mode de recherche.

        Attention cependant, il y a un fallback sur les infos recherchées.
        Si par exemple (je n'ai pas vérifié) le jeu 688 Attack Sub ne possède qu'une cover US dans la BDD. et que tu scrapes le jeu EU. Il va d'abord chercher la EU, mais s'il ne la trouve pas (inexistante par exemple) il va ensuite récupérer la US pour ne pas laisser "à vide".

        Toujours dans la config Générale, tu as le fallback d'indiqué, tu en as même 2 :
        1 au niveau de la région (pour les médias, le nom du jeu, les dates de sortie,...) et un pour la langue (pour le synopsys, le genres, ...)

        Pour la langue en FR, de base c'est : fr|en|wor (en gros FRançais, ENglish, WORld)
        Pour la région c'est : %COUNTRY%|fr|eu|wor|ss|us|jp|cus (%Région de la Rom%, FRançais, EUrope, WORld, ScreenScraper, USa, JaPon, CUStom)

        @paradadf Thank you for the info 😉 never heard about %~dp0, it's great 😉

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        altair72 ProfMielPops 3 Replies Last reply Reply Quote 1
        • altair72
          altair72 @screech last edited by

          @screech Merci pour toutes tes précisions ça fait vraiment plaisir je pense que tu es passionné par ton soft 😉
          En fait ce que je veux faire c'est vu que la ROM dans les fullset est multirégion (us, europe) je veux la dupliquer, une pour une entrée us avec la cover us (donc avec uniquement (us) dans le nom) et une autre pour une entrée europe (donc avec uniquement (europe) dans le nom) avec la cover europe.

          Je n'avais pas vu cette option désolé mais du coup je vais l'essayer 🙂

          1 Reply Last reply Reply Quote 0
          • ProfMielPops
            ProfMielPops @screech last edited by

            @screech

            Bonjour,

            Tout d’abord un grand merci pour tes softs. Ils sont très pratiques 🙂

            J’ai 3 remarques concernant UXS

            • Le scrapping des consoles cd (Playstation, Pc-Engine CD) me pose problème. Le logiciel me scrappe tous les .bin et .cue. C’est donc long et cela prend beaucoup de place. Comment ne pas scrapper les .bin ?
            • Le scrappe des fichiers sous répertoire. Prenons l’exemple de l’émulateur Cave mais c’est aussi le cas sur le Méga CD. J’ai téléchargé le jeu et j’ai copié l’ensemble des fichiers dans un sous répertoire. Quand je me retrouve sur EmulationStation je rentre dans mon sous répertoire. L’image et le descriptif du jeu ne vont apparaitre que si j’utilise ma croix directionnelle vers le bas ou vers le haut.
            • La mention « version alternative » d’un jeu n’apparaît pas contrairement à la mention « région » ou « proto » … alors même que je l’ai sélectionné dans les options de ton logiciel.
            1 Reply Last reply Reply Quote 0
            • altair72
              altair72 @screech last edited by

              @screech J'ai testé mais j'ai toujours un problème.

              En scrappant :

              • 688 Attack Sub (Europe)
              • 688 Attack Sub (USA)

              => Il me télécharge pour chaque la cover Europe ...

              Je pense pas qu'en scarppant par rapport au nom il prennent en compte la région stipulé entre paranthèse.
              Du coup ça va être compliquer de scarpper mes jeux que j'ai scindé pour beaucoup en chaque version (une rom europe, une rom us, une rom jap etc ...)

              Je suis un peu bloqué et ça me frustre d'autant plus que le site et le scrapper sont géniales !

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                @ProfMielPops
                Plusieurs solutions pour les "gros fichiers":

                • Normalement, si tu as BIN+CUE avec le meme nom, il n'est pas sensé scraper les BIN (mais que les CUE) (faudrait verifier dans les logs...)
                • Pour les problemes de vitesse : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/ISO-Scrape-Freeze-or-are-very-long
                • Dernieres astuces : dans config général, tu as les extensions scrapées qui sont listés. tu peux retirer le *.bin 😉 (attention, faudra penser à le remettre sur les emulateurs qui en ont besoin)

                Pour les "sous répertoire", à priori ce bug vient d'EmulationStation. Je ne peux pas y faire grand chose... Mais je réfléchie à une autre "solution" de scrape 😉 (sinon pour les Mega CD, tu peux tout mettre à la racine ^^)

                Pour le (alt) tout dépend de la BDD. Tu as vérifié sur Screenscraper que la rom était bien une rom ALT ? si oui, il faudra que je check ça 😉

                @altair72
                Je viens de comprendre ton problème... En fait cette "rom" est "multilangue". En gros elle est eu ET us... Du coup, UXS ne sait pas gérer les multi et prend le premier des 2... ton cas est vraiment "particulier"...
                J'ai tout de même une solution (mais très contraignante) si tu as tous tes Jeux US par exemple dans un rep séparé, force les médias en US 😉
                -> dans config Générale, au niveau de la région, à la place de : "%COUNTRY%|fr|eu|wor|ss|us|jp|cus" tu mets juste "us" du coup ça forcera les média US 😉 (et "eu" pour pour les médias EU, etc...)
                C'est pas le plus convivial, mais ça devrait marcher 😉

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                ProfMielPops 1 Reply Last reply Reply Quote 0
                • altair72
                  altair72 last edited by

                  Malgré que ce soit contraignant ça me convient parfaitement ! Un grand merci au passionné que tu es!!!

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    long time without new release 😉 so :

                    2.2.0.2 is out : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/releases/tag/2.2.0.2

                    Corrected :

                    • Full Scrape don't neverend anymore.
                    • SSH kill works now on scrape demande.
                    • Date with only a 'Year' will work now (the date will be 'Year/01/01')
                    • When adding Missing Rom, Name were "(Clone, Beta, Demo, ...)". It's OK now 😉
                    • When you force JPG or PNG, Video stay in MP4.

                    Modification :

                    • New ProgressBar changing color (Green = OK, Red = Timeout or error download, Yellow = Not found)

                    Added :

                    • New, in case UXS Hang (it never happen ^^), when you re-launch a Scrape, it will ask you if you want to generate a gamelist.xml with the temporary file found.
                    • New Shortcut was created at the first launch : 'Silent_UXS'. You can now run UXS silently 😉
                    • New Visual info about Engine Use. Some check box corresponding to the Thread Number will tell you if the Engine is used or not.
                    • 2 New Advanced Menu : Reset Autoconfiguration Path and Alt Autoconfiguration Path (only for Retropie, it put the Rom's Folder Path)
                    • New Element Type : RomExcluded

                    Exemple :

                    	<Element Type="RomExcluded">
                    		<Source_Type>Variable_Value</Source_Type>
                    		<Source_Value>%AutoExclude%</Source_Value>
                    		<AutoExcludeEXT>bin|img|iso|ccd|sub</AutoExcludeEXT>
                    		<AutoExcludeValue>(Track |[Bios]|(Bios)</AutoExcludeValue>
                    	</Element>
                    

                    Mean :
                    When a duplicate name file (without extension) is found:
                    - it check the extension. If in list (bin|img|iso|ccd|sub) it won't scrape it
                    - it check if the file contain a value ("(Track ","[Bios]","(Bios)"). If yes, it won't scrape it

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    Pepe 1 Reply Last reply Reply Quote 0
                    • ProfMielPops
                      ProfMielPops @screech last edited by

                      @screech
                      Merci pour ta réponse. Je vais regarder tout ça maintenant 🙂

                      1 Reply Last reply Reply Quote 0
                      • Pepe
                        Pepe @screech last edited by Pepe

                        @screech new versión is detected as trojan malware by windows defender on W10.
                        https://www.microsoft.com/security/portal/threat/encyclopedia/entry.aspx?name=Trojan%3AWin32%2FSpursint.F!cl&threatid=2147717281&enterprise=0

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          Like I say on Retropie forum :

                          😞 sorry for that 😞
                          The language I use (Autoit) is well know by antivirus because in the past a lots of people create malicious software with it...
                          So every AV block every Autoit software...
                          I contacted some of the main AV compagny to tell them it's a false positive.
                          Some respond and it's ok now with some of them...
                          Some never answer... And False positive is still here 😢

                          so you need to "accept" UXS in your AV. sorry...
                          (In case of doubt if there is malicious code, all sources are on the github ^^)

                          By security, I make some test :
                          https://www.virustotal.com/en/file/9a15495065c2b979b04fc92d5a2051c8cbc13e942dc1e1a8b25f2004b0452183/analysis/1495453332/
                          The 4 first result are "generic" Malware code... (something like : "the file want to execute an other exe, or the file acces internet, or the file open XML".... And it's true 😉 but it's not a malware ^^ it's the main function of UXS 😛

                          https://virusscan.jotti.org/fr-FR/filescanjob/g4czisptuw
                          ClamAV detect one, but it's a well known false positive...

                          Tested on Kapersky too :
                          Résultat de l’analyse : le fichier est sain
                          Taille du fichier : 6,45 Мо
                          Type du fichier : PE64/EXE
                          Date d’analyse : 22 mai 2017 13:54:51
                          Date d’édition des bases : 22 mai 2017 11:34:53 UTC
                          MD5 : 2409df4503fdcc49cffcc7360870090b
                          SHA1 : e3a52966542fd0f8e6123c5baeda2a38440ce246
                          SHA256 : 9a15495065c2b979b04fc92d5a2051c8cbc13e942dc1e1a8b25f2004b0452183

                          And on Metadefender :
                          https://www.metadefender.com/#!/results/file/ZTE3MDUyMkJ5Wnh1dUdJeC1XU2tHZXVfR0xnV2I/regular/analysis

                          No threat found...

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • Jinkz
                            Jinkz last edited by

                            Bonjour. Moi j'ai un soucis avec xml scraper. Je met mon disque dur externe sur l'ordi je choisi bien le dossier roms, sa marche nickel je doit faire émulateurs par émulateurs. Mon seul soucis Et libretro ... quand le scrape est terminé et que je rebranche et relance recalbox, les 3/4 des jeux libretro on été triplé voir quadruplé ... et il y a 4142 jeux maintenant ... comment faire pour tous les supprimer en un seul coup ? Car quand je le branche sur l'ordinateur les jeux en double ou triple on a du mal à les distinguer car c'est un nom avec une abréviation en plus Et donc on ne peut distinguer un jeu en double triple d'un jeu original ...

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              Alors :
                              Le plus simple est déjà de faire le tri dans tes Roms (crlmamepro ^^ je te laisse voir avec @acris 😉
                              En suite, dans les options, tu peux choisir ce que tu mets en "Tags" derrière le nom : la region, clone, prototype, demo, traduction, ....

                              Un truc aussi, décoche (si c'est coché) dans la config général la recherche DANS les fichiers zip.

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              Jinkz 1 Reply Last reply Reply Quote 0
                              • Jinkz
                                Jinkz @screech last edited by

                                @screech sa marche. Donc la en faite je doit supprimer toutes les roms dans le dossier libretro, re glisser les roms de mon ordi dans le disque dur de recalbox, changer les manipulations à faire et sa devrait marcher ?

                                J'avais essayer le nouveau xml, mais peut de temps apres erreur à cesser de fonctionner donc j'ai repris le 32 bit d'avant.

                                1 Reply Last reply Reply Quote 0
                                • acris
                                  acris last edited by

                                  @Jinkz
                                  le triage de l'arcade n'est pas comme les romsets de console ça demande un minimum de connaissance (rom parent, rom clone) et surtout la lecture de la documentation arcade sur le wiki.
                                  Et le meilleur outil pour réaliser un premier triage pour obtenir uniquement les roms parentes d'un romset arcade est clrmamepro
                                  puis ensuite séparer les roms parentes neogeo (pour fba libretro)
                                  Le tutoriel qui je pense complet : http://mamedl.esy.es/static1/clrmamepro

                                  1 Reply Last reply Reply Quote 0
                                  • Jinkz
                                    Jinkz last edited by

                                    Merci acris. Apres si je comprend bien tu me dit de faire ce logiciel pour séparer les jeux neogeo des arcades ? Mais Ca c'est deja fait. Dans recalbox j'ai bien l'emulateur neogeo avec ses jeux à l'intérieur. Mais je pense que le logiciel va m'aider à enlever les clones celui que tu m'a donné. Je vais essayer Ca ce soir je verrais bien.

                                    1 Reply Last reply Reply Quote 0
                                    • Jinkz
                                      Jinkz last edited by

                                      Bon je comprend toujours pas clrmamepro 😕 j'ai essayé de supprimer tous les roms fba libretro, j'ai remis les roms puis scraper mais sa fais pareil ...
                                      C'est quoi la différence entre fba libretro Et mame ? Il peut avoir tous les jeux sur mame Et enlever l'emulateur libretro ?

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        @Acris est vraiment plus "calée" que moi sur le sujet mais,

                                        FBA et MAME sont 2 émulateurs différents. Leurs romset sont eux aussi differents (même si des roms de l'un peuvent fonctionner sur l'autre et inversement).

                                        Acris t'as donnée les liens sur les tutos, je te conseil de bien les consulter. et de faire des essais.

                                        Le plus simple serait surement d'ouvrir un autre sujet (ce n'est pas particulièrement lié au Scrape la, c'est plus de la gestion de romset) d'autres (qui ne consultent pas forcement ce sujet) pourront certainement plus t'aider que moi 😞

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • anthonyv42
                                          anthonyv42 last edited by

                                          Bonsoir 🙂
                                          J'ai un soucis avec XML scrapper, je n'arrive pas a le faire fonctionner. Quand je lance un scrap sur mon SD, toutes les roms sont bien trouvées, j'ai ensuite l'apparition du dossier image et la modification du fichier gamelist cependant, rien ne change sur ma recalbox et quand je redémarre cette derniere, je me retrouve a nouveau avec un fichier gamelist vierge.
                                          Le scrap a marché une seule fois, lors de sa première utilisation pour faire un test sur mes roms NES, tout a très bien fonctionné et depuis, je n'ai malheureusement pas pu le faire remarcher à nouveau.
                                          Si quelqu'un a déja eu ce problème auparavant j et trouver la solution e suis preneur 🙂
                                          Merci !!

                                          GRALLEC 1 Reply Last reply Reply Quote 0
                                          • percevaal
                                            percevaal last edited by

                                            Bonjour,
                                            avant toutes choses : je suis un débutant.
                                            j'ai téléchargé xml scraper, suivit tout le tuto (obligé de passer par puty pour arreter la recalbox). Et qua je lance le scrap, ca marche un moment (très variable entre 30 et 200 jeux) et ca finit par planter avec ce message: "error: subscript used on non-accessible variable."
                                            si je relance xml scraper il me dit que des fichiers temporaires on étés trouvés et me demande si je veux les sauvegardé.
                                            Je ne sais plus quoi faire, si quelqu'un avait une idée.
                                            merci d'avance

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            82
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com