[SOFT] Universal XML Scraper V2



  • alt text

    Universal XML Scraper V2 is an easy to use and configure scraper.
    It works in English, French, German, Spanish, Portugaise (and all other language you can translate it if you want ;) )
    It's work only on windows (sorry) but maybe you can try to test it on WINE.
    It's open source ( The Github )
    And based on Screenscraper Database, I really think it's the best DB you can found right now... It's just 1 year old but better (in quality and content) than any other DB I found... And it's just the begining ;)

    What you can do with Universal XML Scraper (UXS for the friend ;) ) :

    Easy configuration :
    Wizard and configuration menu are easy to handle.
    And the great things is the "Autoconfiguration", select your profil depending on the Systeme you use (Retropie or Recalbox for now... but it's really open) Then choose your "root" directory where all your Roms folder are... Then you just hace to choose the directory you want to scrape all is autoconfigurated.

    alt text

    Evolutive :
    All the configuration are in XML File... So if you are not pleased with the "pre configured" things you can do what you want.
    And so it's open to lot's configuration without touching the code.

    Lot's of language :
    I already say that the software can handle lot's of language... But do you know the DB too ?
    If you want your synopsis in Spanish, deutsh, French, portugaise, and of course english, it's possible.
    Depending on your language selection for UXS, the data you scrape will match.
    (And it's possible in menu to change that).
    It of course have a fallback function... so if no synopsis in deutsh is found, it will take the English one (for exemple)

    Fast :
    The default configuration use only one thread (roms were scrapped one by one). But if you want to help us to filling the hole in the Screenscraper Database, you will be granted more thread...
    with only one participation, you already have 2 threads... And scrape 2X faster ;)
    Don't forget to put your Screenscraper information in the general menu to check how many Threads you can have.

    alt text

    Acurate :
    The scrape is done by 2 way : your romfile hash and if not found your romfile name.
    it's not taking the Game name, only the rom name to match a rom in the Screenscraper Database.
    Why ? Because, rom are link to a country. And media and some informations are also link to the rom country.
    So when you scrape a Japan rom, you will have the Japan Box and the Japan Name of the game.
    If you scrape a US one ;) it's the same, you will have media and information corresponding.
    And no mistake can happen with 2 games with "near" the same rom name... Because Hash aren't the same ;)

    alt text
    alt text

    Nice :
    Emulationstation can handle only one dynamique picture... So you have to choose : Screenshot ? 3D Box ? 2D Box ?....
    With the MIX profil, you can "create" very nice picture to make your front end beautiful ...

    Some MIX exemple :

    alt text
    alt text

    With the appropriate theme, you can have full screen dynamique picture :

    alt text

    Teasing : A new MIX template with Emulationstation theme in preparation :

    alt text

    You can found the last version here : Github

    don't hesitate to test, and tell me if all is alright ;)

    What Change in the V2 :

    • Total rewrote of XML functions
    • Total rewrote of GDI functions (the one who make the MIX ^^)
    • Now all Scraping profil are in XML with tone of options
    • Now all MIX profil are in XML with also tone of options
    • Multithread, you can have several rom scraped at the same time. For this you need to register on Screenscraper (with a single registration you will have 2 threads, if you participate to the BDD you can have up to 10 threads.)
    • Wizard at start to help the first configuration
    • Scrape with recursivity (subfolder can now be scraped)
    • lot's of configuration menu (but they are easy to understand... And I need to make tooltips :p )
    • Autoconfiguration and Fullscrape work
    • New function to handle timeout and network problem
    • Changing standard things are easy now (2D Box instead of Screenshot, Game Name with region,...)
    • Autohide function (Bios are auto hidden, and if you have a cue+bin, the bin will be hide too.. So are the "track" files) and it's configurable in the XML Scrape profil
    • ... Lot's of more things I can't remember... 3 month on this ^^

    Don't hesitate to ask or tell me there is a bug ;)

    This is SPARTA.. oups V2



  • merci pour cette nouvelle version, je la trouve plus rapide et super simple d'utilisation

    par contre je ne trouve pas comment mettre dans le gamelist les noms des jeux avec leur région ou les versions (rev, proto etc). Je vois bien dans configuration des options les lignes à mettre mais le gamelist n'a pas l'air de changer à chaque fois je reviens sur les noms des jeux sans la région

    je fais bien la manip ou c'est ailleurs ?

    et comment on peut changer pour avoir les boitier 2d ? j'ai pas trouvé d'option (j'essaye de tout tester lol)

    merci !!!!!!!!!!


  • Banned

    Salut l'ami, merci pour cette magnifique V2 qui déroute un peu ! :)

    J'ai juste un problème, au dernier scrape, le logiciel reste bloqué, obligé d'annuler

    EDIT : Il trouve les images mais n'a pas l'air de réussir à réécrire le fichier XML

    EDIT 2 : Bug corrigé avec la nouvelle update, merci ! :)


  • Translator
    Translation Master

    @screech need some german translation? Is there a list of phrases / words to translate? I could do it


  • Moderator
    Team
    Moderator
    Translator

    @lackyluuk here they are:
    https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/tree/master/LanguageFiles

    only french is really up-to-date. English has been translated as well (for the most part), but it would be good if some native speaker could correct it. The other languages still have the old format.



  • @sassa petit bug corrigé avec la 2.0.0.1Beta
    @Genetik57 Cool :D
    @lackyluuk @paradadf is right ;) you can found XML File there ;) I put them all in "english" but it's "my" english ^^ and it isn't so good ^^
    Feel free to offer a PR or just send me (with pastebin ?) the translated file I add it ;)
    (But UXS Still in Beta, some improvement (and new translation may be needed in the futur ;) )


  • Banned

    @screech Salut,

    En tout cas un grand merci à toi l'ami ! Je suis en train de remplacer tous mes screenshots par du "Standard (3img)" et "Standard (4img)" lol, ça va rendre mieux ! :)

    Sinon je trouve le tool beaucoup plus performant, beaucoup plus rapide et précis, j'ai réussi à compléter des roms manquantes, mon scrape PCEngine est full ! :D



  • @Genetik57 sur les 3 et 4img, vérifie, il peut y avoir des manques (une wheel, une box, un sceenshot, une cartouche) n’hésite pas à checker ;) et à ajouter directement sur http://www.screenscraper.fr/ les medias que nous pourrions ne pas avoir ;)


  • Banned

    @screech Je vais faire ça merci ! :) Participer un peu à la communautés avec des ajouts ^^

    Et pour les 2 et 10 fils j'ai pas trop compris, c'est des vérifications ?



  • les "threads" ne sont pas des "fils" ^^ ce sont des process en parallèle ;)
    En gros, de base UXS scrape les roms 1 par 1.
    Pour récompenser ceux qui nous aide à remplir la base de données, UXS est capable de scraper "plusieurs roms" en même temps ;)
    En gros, une simple inscription sur http://www.screenscraper.fr/ te permet déjà de scraper 2 roms simultanément (et donc quasiment de réduire par 2 la durée du scrape ;) )
    En participant à la BDD, tu peux monter jusqu'à 10 threads ;)


  • Banned

    @screech D'accord merci, plutôt utile ! :)

    Par contre je ne comprends pas trop le site, comment le logiciel me trouve ça

    0_1479227278071_Bomberman (E) [SLES-01893]-image.png

    Alors que quand je navigue sur http://www.screenscraper.fr/ afin de retrouver "Bomberman" et d'y ajouter un screenshot je tombe sur des "Bomberman" sans informations, sans images rien ... Je sais pas où le logiciel a trouvé ça mais il est fort x)



  • effectivement, le bomberman sur playstation n'a pas de screenshot :
    http://www.screenscraper.fr/gameinfos.php?gameid=19602


  • Banned

    @screech Mais quel boulet je suis, je me suis servis de la recherche au lieu de commencer par la liste des consoles lol, ça ne m'étonne pas que j'ai pas trouvé



  • dans le moteur de recherche, tu pouvais mettre Bomberman et choisir Playstation ;)


  • Banned

    @screech J'ai utilisé la zone de recherche mais pas terrible, passer par la liste des consoles évite de poster un message inutile comme celui que j'ai posté plus haut lol

    EDIT : Screenshot ajouté :)


  • Banned

    @screech Salut,

    Je reviens vers toi, serait-il possible de rajouter à nouveau le logo de la console qui est en cours de scrape s'il te plait ? Comme sur la v1 ! :p

    Par contre un truc vraiment gênant quand on configure manuellement, c'est "Utiliser le Wizard" en premier choix dans l'onglet "Configuration", quand on clique dessus par erreur, obligatoirement on doit re configurer un profil automatique, pas possible d'annuler :S Possible de faire quelque chose s'il te plait ?

    Merci, bonne soirée ! :)



  • Si si ;) c'est dans les "petits" trucs qu'il faut que j’améliore ^^ mais bon ^^ pour le moment tu peux faire suivant, suivant, suivant,... ça reprend par défaut les paramètres déjà configurés ;)


  • Banned

    @screech Je note merci ! Aussi rapide que ton soft pour répondre aux commentaires ! :p

    J'ai une question, par exemple c'est possible de seulement remplacer les images ? J'ai test mais obligé de supprimer l'image + les info dans le XML

    Exemple : J'ai ajouté un screenshot sur le site pour un jeu, donc je supprime mon image scrape sans screenshot pour la remplacer par la même mais avec le screenshot en plus sans pour autant supprimer les info de ce jeu dans le fichier XML

    En gros, est-ce qu'il est possible de rajouter une fonction au logiciel qui remplace une image incomplète par une image beaucoup plus complète ? Par exemple, si j'ai des images scrapes où il manque une jaquette, un screenshot, un logo ... etc Une fois ajouté sur le site par moi ou une autre personne de la communauté, j'active cette fonction qui va scrape à nouveau et détecter le jeu Mario (exemple) qui avait uniquement de dispo lors du premier scrape une jaquette et un logo et lors du deuxième passage quelques jours plus tard détecte qu'il y a une jaquette, un logo et un screenshot de dispo et donc effectue la modification de l'image incomplète par une image un peu plus complète

    Bon je me comprends lol C'est un peu les mêmes questions



  • c'est prévu dans un futur plus ou moins proche de pouvoir scrape "que les images" mais concrètement ce ne sera pas un gros gain de temps ;) ce sera juste plus "pratique" ;)

    tu supprimes les images "incomplètes" et tu rescrape que les images...

    Pour le fait de compléter automatiquement des images existantes... ça risque d’être très très compliqué ;)


  • Banned

    @screech Salut,

    Donc si je comprends bien, l'option n'est pas disponible actuellement mais d'ici quelques temps c'est ça ? :)



Want to support us ?

Join us on :

350
Online

31018
Users

15109
Topics

113708
Posts

Looks like your connection to Recalbox Forum was lost, please wait while we try to reconnect.