[SOFT] Universal XML Scraper V2

[screech]

Universal XML Scraper V2 is an easy to use and configure scraper.
It works in English, French, German, Spanish, Portugaise (and all other language you can translate it if you want )
It's work only on windows (sorry) but maybe you can try to test it on WINE.
It's open source ( The Github )
And based on Screenscraper Database, I really think it's the best DB you can found right now... It's just 1 year old but better (in quality and content) than any other DB I found... And it's just the begining

What you can do with Universal XML Scraper (UXS for the friend ) :

Easy configuration :
Wizard and configuration menu are easy to handle.
And the great things is the "Autoconfiguration", select your profil depending on the Systeme you use (Retropie or Recalbox for now... but it's really open) Then choose your "root" directory where all your Roms folder are... Then you just hace to choose the directory you want to scrape all is autoconfigurated.

Evolutive :
All the configuration are in XML File... So if you are not pleased with the "pre configured" things you can do what you want.
And so it's open to lot's configuration without touching the code.

Lot's of language :
I already say that the software can handle lot's of language... But do you know the DB too ?
If you want your synopsis in Spanish, deutsh, French, portugaise, and of course english, it's possible.
Depending on your language selection for UXS, the data you scrape will match.
(And it's possible in menu to change that).
It of course have a fallback function... so if no synopsis in deutsh is found, it will take the English one (for exemple)

Fast :
The default configuration use only one thread (roms were scrapped one by one). But if you want to help us to filling the hole in the Screenscraper Database, you will be granted more thread...
with only one participation, you already have 2 threads... And scrape 2X faster
Don't forget to put your Screenscraper information in the general menu to check how many Threads you can have.

Acurate :
The scrape is done by 2 way : your romfile hash and if not found your romfile name.
it's not taking the Game name, only the rom name to match a rom in the Screenscraper Database.
Why ? Because, rom are link to a country. And media and some informations are also link to the rom country.
So when you scrape a Japan rom, you will have the Japan Box and the Japan Name of the game.
If you scrape a US one it's the same, you will have media and information corresponding.
And no mistake can happen with 2 games with "near" the same rom name... Because Hash aren't the same

Nice :
Emulationstation can handle only one dynamique picture... So you have to choose : Screenshot ? 3D Box ? 2D Box ?....
With the MIX profil, you can "create" very nice picture to make your front end beautiful ...

Some MIX exemple :

With the appropriate theme, you can have full screen dynamique picture :

Teasing : A new MIX template with Emulationstation theme in preparation :

You can found the last version here : Github

don't hesitate to test, and tell me if all is alright

What Change in the V2 :

• Total rewrote of XML functions
• Total rewrote of GDI functions (the one who make the MIX ^^)
• Now all Scraping profil are in XML with tone of options
• Now all MIX profil are in XML with also tone of options
• Multithread, you can have several rom scraped at the same time. For this you need to register on Screenscraper (with a single registration you will have 2 threads, if you participate to the BDD you can have up to 10 threads.)
• Wizard at start to help the first configuration
• Scrape with recursivity (subfolder can now be scraped)
• lot's of configuration menu (but they are easy to understand... And I need to make tooltips )
• Autoconfiguration and Fullscrape work
• New function to handle timeout and network problem
• Changing standard things are easy now (2D Box instead of Screenshot, Game Name with region,...)
• Autohide function (Bios are auto hidden, and if you have a cue+bin, the bin will be hide too.. So are the "track" files) and it's configurable in the XML Scrape profil
• ... Lot's of more things I can't remember... 3 month on this ^^

Don't hesitate to ask or tell me there is a bug

This is SPARTA.. oups V2

[sassa]

merci pour cette nouvelle version, je la trouve plus rapide et super simple d'utilisation

par contre je ne trouve pas comment mettre dans le gamelist les noms des jeux avec leur région ou les versions (rev, proto etc). Je vois bien dans configuration des options les lignes à mettre mais le gamelist n'a pas l'air de changer à chaque fois je reviens sur les noms des jeux sans la région

je fais bien la manip ou c'est ailleurs ?

et comment on peut changer pour avoir les boitier 2d ? j'ai pas trouvé d'option (j'essaye de tout tester lol)

merci !!!!!!!!!!

[johnDoe_1]

Salut l'ami, merci pour cette magnifique V2 qui déroute un peu !

J'ai juste un problème, au dernier scrape, le logiciel reste bloqué, obligé d'annuler

EDIT : Il trouve les images mais n'a pas l'air de réussir à réécrire le fichier XML

EDIT 2 : Bug corrigé avec la nouvelle update, merci !

[lackyluuk]

@screech need some german translation? Is there a list of phrases / words to translate? I could do it

[paradadf]

@lackyluuk here they are:
https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/tree/master/LanguageFiles

only french is really up-to-date. English has been translated as well (for the most part), but it would be good if some native speaker could correct it. The other languages still have the old format.

[screech]

@sassa petit bug corrigé avec la 2.0.0.1Beta
@Genetik57 Cool
@lackyluuk @paradadf is right you can found XML File there I put them all in "english" but it's "my" english ^^ and it isn't so good ^^
Feel free to offer a PR or just send me (with pastebin ?) the translated file I add it
(But UXS Still in Beta, some improvement (and new translation may be needed in the futur )

[johnDoe_1]

@screech Salut,

En tout cas un grand merci à toi l'ami ! Je suis en train de remplacer tous mes screenshots par du "Standard (3img)" et "Standard (4img)" lol, ça va rendre mieux !

Sinon je trouve le tool beaucoup plus performant, beaucoup plus rapide et précis, j'ai réussi à compléter des roms manquantes, mon scrape PCEngine est full !

[screech]

@Genetik57 sur les 3 et 4img, vérifie, il peut y avoir des manques (une wheel, une box, un sceenshot, une cartouche) n’hésite pas à checker et à ajouter directement sur http://www.screenscraper.fr/ les medias que nous pourrions ne pas avoir

[johnDoe_1]

@screech Je vais faire ça merci ! Participer un peu à la communautés avec des ajouts ^^

Et pour les 2 et 10 fils j'ai pas trop compris, c'est des vérifications ?

[screech]

les "threads" ne sont pas des "fils" ^^ ce sont des process en parallèle
En gros, de base UXS scrape les roms 1 par 1.
Pour récompenser ceux qui nous aide à remplir la base de données, UXS est capable de scraper "plusieurs roms" en même temps
En gros, une simple inscription sur http://www.screenscraper.fr/ te permet déjà de scraper 2 roms simultanément (et donc quasiment de réduire par 2 la durée du scrape )
En participant à la BDD, tu peux monter jusqu'à 10 threads

[johnDoe_1]

@screech D'accord merci, plutôt utile !

Par contre je ne comprends pas trop le site, comment le logiciel me trouve ça

Alors que quand je navigue sur http://www.screenscraper.fr/ afin de retrouver "Bomberman" et d'y ajouter un screenshot je tombe sur des "Bomberman" sans informations, sans images rien ... Je sais pas où le logiciel a trouvé ça mais il est fort x)

[screech]

effectivement, le bomberman sur playstation n'a pas de screenshot :
http://www.screenscraper.fr/gameinfos.php?gameid=19602

[johnDoe_1]

@screech Mais quel boulet je suis, je me suis servis de la recherche au lieu de commencer par la liste des consoles lol, ça ne m'étonne pas que j'ai pas trouvé

[screech]

dans le moteur de recherche, tu pouvais mettre Bomberman et choisir Playstation

[johnDoe_1]

@screech J'ai utilisé la zone de recherche mais pas terrible, passer par la liste des consoles évite de poster un message inutile comme celui que j'ai posté plus haut lol

EDIT : Screenshot ajouté

[johnDoe_1]

@screech Salut,

Je reviens vers toi, serait-il possible de rajouter à nouveau le logo de la console qui est en cours de scrape s'il te plait ? Comme sur la v1 !

Par contre un truc vraiment gênant quand on configure manuellement, c'est "Utiliser le Wizard" en premier choix dans l'onglet "Configuration", quand on clique dessus par erreur, obligatoirement on doit re configurer un profil automatique, pas possible d'annuler :S Possible de faire quelque chose s'il te plait ?

Merci, bonne soirée !

[screech]

Si si c'est dans les "petits" trucs qu'il faut que j’améliore ^^ mais bon ^^ pour le moment tu peux faire suivant, suivant, suivant,... ça reprend par défaut les paramètres déjà configurés

[johnDoe_1]

@screech Je note merci ! Aussi rapide que ton soft pour répondre aux commentaires !

J'ai une question, par exemple c'est possible de seulement remplacer les images ? J'ai test mais obligé de supprimer l'image + les info dans le XML

Exemple : J'ai ajouté un screenshot sur le site pour un jeu, donc je supprime mon image scrape sans screenshot pour la remplacer par la même mais avec le screenshot en plus sans pour autant supprimer les info de ce jeu dans le fichier XML

En gros, est-ce qu'il est possible de rajouter une fonction au logiciel qui remplace une image incomplète par une image beaucoup plus complète ? Par exemple, si j'ai des images scrapes où il manque une jaquette, un screenshot, un logo ... etc Une fois ajouté sur le site par moi ou une autre personne de la communauté, j'active cette fonction qui va scrape à nouveau et détecter le jeu Mario (exemple) qui avait uniquement de dispo lors du premier scrape une jaquette et un logo et lors du deuxième passage quelques jours plus tard détecte qu'il y a une jaquette, un logo et un screenshot de dispo et donc effectue la modification de l'image incomplète par une image un peu plus complète

Bon je me comprends lol C'est un peu les mêmes questions

[screech]

c'est prévu dans un futur plus ou moins proche de pouvoir scrape "que les images" mais concrètement ce ne sera pas un gros gain de temps ce sera juste plus "pratique"

tu supprimes les images "incomplètes" et tu rescrape que les images...

Pour le fait de compléter automatiquement des images existantes... ça risque d’être très très compliqué

[johnDoe_1]

@screech Salut,

Donc si je comprends bien, l'option n'est pas disponible actuellement mais d'ici quelques temps c'est ça ?