[SOFT] Universal XML Scraper V2

[azvarel]

Hi @screech,

problems with uxs to do scraper for sega cd / pc engine / psx only 10% is managed the scraper using the mix (3img)

I could not find the mystery, I tried to redo it several times and without solution

[kevinnash]

@screech said in [SOFT] Universal XML Scraper V2:

@metra105 oui, le scrape "tout système" est cassé... Il faut que je le répare ^^ désolé (tu peux néanmoins scraper les système 1 par 1 )

Hello screech, as-tu pu réparer le scrap all cassé ?

J'ai aussi remarqué que les images sont tout le temps en .png même si on choisit . jpg

[screech]

Hello Every one.

Just pull out a fresh new release (v2.2.0.0)

What's new :

New Language Set
Now English Language are separated in 2 : English UK and English US. So now it handle correctly the media fallback (exemple : In UK fallback if a cover matching the rom is not found it will take the European one and the world one if not found. In US, it will take the US one and the world one... Same for the game naming)

A complete new Wizard.
I force it at start to make sure every one have a "good" install first.
I put a lot's of "verification" to make sure a standard install can scrape easy.
You can always tweek what you want after that

A New "Options" Menu.
Now you will have a lot's of "easy" tweek" like :

• Mix or not.
• If not Mix : selecting Default picture, alt picture and for Retropie : Marquee and Videos
• Naming convention : Default is "Game Name + Options" so you can tweek the options.
• Name Tag options : Now you can put the country between [], and some tags between () like Clone, Beta, Demo, Proto, Trad, Hack, Unl, Alt, Best. (To come : Clone type and Hack type) -> So normally no more simple duplicate name (for mame for exemple). If still duplicate, it's because we haven't the info in DB. Don't hesitate to submit correction on that on www.screenscraper.fr
• Case for multiple metadata : Default/UPPERCASE/lowercase (depending on Theme, it may matter)

New Profil :
Profil change "a lot"... Not so much modification of existing things, but only 2 profils now : Recalbox/Retropie. With a lot's of new options (at the end).
It create dynamically the option menu.
We loose some "options" but I will put them back later (Like the "rom folder" profil or the "scummvm" profil)... I need to work on these.
Special dedicace to @mattrixk if you have any difficulty with modification on these profil, let me know.

New option in Gen config
It was asked, by default, UXS don't scrape "IN" zip file... So it may not found some game, but it's a way faster with romset like mame.
You can reactivate that in option.

Carbon Wheel on the UI
Now you can know what plateform you are scraping, it put a little carbon wheel on the UI.
This wheel depend on you language preset (so Genesis for US or Megadrive dor UK )

Some debbuging

• Full Scrape works now ^^
• Full scrape have a good "Result" windows at the end
• Normally no more bug when scrape multiple system in the same session (you don't need to close and reopen UXS)
• Lot's of small debbuging.

To come :

• A new server (actually the small server we have suffer a lot. Specially at Week end) thanks to your donation we migrate soon to a new bigger and dedicated physical server.
• A new API (With the new server, little time after, we will have a new API with a lot's more new stuff to scrape and more easily )
• A new Error handling (Actually error coming from the API aren't so easy to catch. So with the new API, I can have a better return and so a better information on what's going on when it doesn't work properly)
• lot's of new stuff in UXS

Asking for Help
With this new version, some translation aren't up to date. So if you speak German, Spanish, Dutch, Portugaise, Japanaise or Italian, you are welcome to contribute.
(Juste look in the LanguageFiles Folder. Open the XML correspondinf. The stuff needing translation are at the end )
If you think my English isn't so good (what is true) don't hesitate to correct the EnglishUK or EnglishUS XML

@kevinnash : Yes c'est réparé
@azvarel : try these solution : Wiki The best way may be to scrape only with "filename" (without the extension) but for that you must have a good naming convention of your rom to match the rom in the DB (You can check directly on www.screenscraper.fr look for your game, and whatch at the very end of the game page. You will have all the referenced game.)
@Genetik57 et @OcEaN : Actuellement le scrape ne peut se baser que sur le hash (CRC, MD5, SHA1) ou sur le nom du fichier. Impossible donc de faire du scrape à la mano en choisissant le jeu.. Peut être plus tard mais ce n'est pas prévu. Par contre, la remontée d'info existe déjà en automatique : Si une rom est scrapé plus de 5 fois par 5 IP différentes et n'est pas référencée, elle est directement proposée aux modérateurs pour ajout.

Thank you guys, and don't hesitate to tell me if something don't work well

[kevinnash]

Hello screech voila ce que j'ai constaté :

• Les images sont tout le temps en .png même si on choisit . jpg

• Le nombre de threads screenscraper reste à 1 malgré la vérification de ceux-ci lors du wizard.

[screech]

En mode MIX, le formar jpg est "forcé".
Par contre, normalement si tu vas dans configuration, advanced, configuration image et que tu choisi jpg en mode simple media... Tu devrais avoir du jpg...

Effectivement, c'est un oublie au moment du wizard :S meme après avoir entré ses ID, il ne configure pas automatiquement le nombre de thread (mais tu peux le changer dans la config générale) je vais corriger ça

Je viens de tester et à la sortie du wizard, j'ai bien le nombre de threads qui s'inscrit dans le UXSconfig.ini c'est bizard...

Merci pour le retour

EDIT : Testé à l'instant, le jpg fonctionne et pareil pour le wizard

[kevinnash]

Chelou chez moi en mode mix image c'est toujours en png même en choisissant jpg en config avancée.

Par contre en mode non mix ça fonctionne, jpg par défaut et png si on veut dans les options.

Pour les threads, ils se remettent à 1 juste après le 1er scrap, par contre si on les enregistre dans la config générale ça reste

[screech]

oups !! il fallait bien sur lire : "En mode MIX, le formar jpg PNG est "forcé". "

pour le nb de thread c'est bizarre qu'il se "reset".. Un check est fait systématiquement à chaque scrape, mais normalement, ça devrait être ok, je vais faire des test

[azvarel]

@screech said in [SOFT] Universal XML Scraper V2:

@azvarel : try these solution : Wiki The best way may be to scrape only with "filename" (without the extension) but for that you must have a good naming convention of your rom to match the rom in the DB (You can check directly on www.screenscraper.fr look for your game, and whatch at the very end of the game page. You will have all the referenced game.)

So I'm going to answer right here what you also told me about github,I use subfolders so all my roms are without (USA), (Europe), (Prototypes) and etc ... for me it gets super easier to visualize, I click on Prototypes and there are all the roms, being that they are zipped, In the case of ISO, I have the same way, being that the correct game name but without the (COUNTRY) and PSX isos I opted for .PBP, for me it is more dynamic, I do not need to have a lot of CDs of the same game, Everything is in a single file. The names of the roms are in accordance with the no-intro, however there are some example cases Super Mario World and Super Mario World 2: Yoshi's Island, renamed them manually after the scrapes like Super Mario World I and Super Mario World II - Yoshi's Island but for the sake of aesthetics.

Before reading the wiki I did it myself with some psx games get the same name of the screenscraper, some got hit like the Crash Bandicoot jogs, but others like B****y Roar did not have the same luck.

[screech]

So maybe you should try the experimental function to hash directly on the PI on SSH

Maybe it will be better

[azvarel]

@screech
I know that my doubt does not fit here, but there it goes.

Is it possible to download a txt file from screenscraper.fr from all the .cue of segacd so I can do a checklist? Confronting my files or is this impossible?

[screech]

it's not "impossible", but it's really not easy (I must access directly to the DB for that ^^)

[hagrimm]

Merci pour la mise à jour.

J'ai un souci avec cette version les fonctionnalités pour arrêter, redémarrer et arrêter Emulstation. ça ne marche pas du tout.

J'ai pas eu d'autre souci, fonctionnalité de configuration au début est vraiment super et avoir la region à côté des noms de jeux est vraiment sympa.

Je suis avec la version 4.1 du 2017.03 .05 (pas eu de mise à jour depuis).

[screech]

Merci @hagrimm

J'ai eu plusieurs remontées sur le sujet, je test ce soir

[screech]

WARNING : I confirm that the Kill emulationstation don't work

So you need to stop it manually till I correct that tonight...

[azvarel]

@screech Gives a verified, renamed my files in every possible .cue of every game that had on the site screenscraper.fr some worked and in these below simply did not scrape

Animals!, The (USA).cue                                          136    18:42.00 2017-03-06    
Bram Stoker's Dracula (USA) (DW0088).cue                         450    18:56.00 2017-03-06    
Championship Soccer '94 (USA) (DW0293).cue                     6 080    19:11.00 2017-03-06    
Compton's Interactive Encyclopedia (1994)(Compton's NewMedia)(NTSC)(US)[Version 2.00S][CIESEGAV200 R1C].cue               150    19:17.00 2017-03-06    
ESPN NBA Hangtime '95 (USA) (DW0290).cue                                                                                1 012    19:38.00 2017-03-06    
Joe Montana's NFL Football (U).cue                                                                                   316    20:07.00 2017-03-06    
NFL's Greatest San Francisco vs Dallas (USA) (DW0066).cue               179    12:57.00 2017-03-07    
NHL '94 (USA) (DW0222).cue                                            3 299    12:58.00 2017-03-07    

[hericstrada]

@azvarel It´s probably because the apostrophe -> '

[azvarel]

@hericstrada Makes sense, but in screenscraper.fr it is in this way identical to the ones that I mentioned

[hagrimm]

Bonjour, merci pour cette nouvelle version.

J'ai trouvé deux bug

• l'invitation à éteindre Emulstation quand on scrap les jeux ne fonctionne pas, il faut aller dans le menu Command SSH pour que ça fonctionne.
• L'utilisation de la fonction Scrapper tous les systèmes, ne fonctionne pas correctement, il boucle sur le dossier que l'on a sélectionné puis scan tout les systèmes sur le dossier sélectionné.

explication : j'avais testé le système gb (game boy) si tout fonctionnais puis j'ai fais un un scrapper tous les systèmes, le logiciel va scanner toutes les consoles que dans ce répertoire et vu que j'ai que des jeux games boy il ne me trouve pas les autres et donc il tourne en boucle.

voilà pour le moment

[johnDoe_1]

@screech Je ne sais pas si c'est un bug mais par moment, le logiciel me sort une image de la jaquette alors que je suis en 4img, ensuite il reprend les 4img normalement et des fois il recommence, une jaquette et op, du 4img

Et quand je recommence, il me remplace la jaquette par une 4img et peut faire l'inverse avec une 4img en jaquette

Et ça m'a l'air bien plus lent qu'avant

[screech]

c'est "à moitié" un bug

En fait, avec la dernière version, le fallback des images est en place.
En gros, quand il n'arrive pas a générer un mix, il prend le fallback (par défaut cover 2D)
La question : si la cover 2D existe, la 3D aussi du coup pourquoi il n'arrive pas à générer les MIX

Je vais chercher...