[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[screech]

Pour @Acris : Effectivement ^^ tu cherches aussi
ils sont en .vec (donc pas compressé donc impossible à trouver via le CRC) et ils ont était renommé (donc impossible à retrouver par le nom de la rom)
Je vais te faire gagner du temps ^^ voici comment doivent s'appeler tes fichiers pour être scrapé (en plus j'avais complété le système Vectrex ^^ normalement tu auras un full scrape )

Armor Attack (1982).vec -> Armor..Attack (World).vec
Bedlam (1983).vec -> Bedlam (USA, Europe).vec
Berzerk (1982).vec -> Berzerk (World).vec
Blitz! - Action Football (1982).vec -> Blitz! - Action Football (USA, Europe) (0F11CE0C).vec
Cosmic Chasm (1982).vec -> Cosmic Chasm (World).vec
Fortress of Narzod (1982).vec -> Fortress of Narzod (USA, Europe).vec
Hyperchase (1982).vec -> HyperChase - Auto Race (World).vec
Mine Storm (1982).vec -> Mine Storm (World).vec
Polar Rescue (1983).vec -> Polar Rescue (USA).vec
Pole Position (1982).vec -> Pole Position (USA) (A00ED3D6).vec
Rip-Off (1982).vec -> Rip Off (World).vec
Solar Quest (1982).vec -> Solar Quest (World).vec
Space Wars (1982).vec -> Space Wars (World).vec
Spike (1983).vec -> Spike (USA, Europe).vec
Web Wars (1983).vec -> WebWars (USA).vec

@Voljega : C'est ça ^^ @Supernature2k va pouvoir faire ma hotline bientôt ^^

@Supernature2k concernant les roms/hash manquante sur Screenscraper, normalement, lorsque tu lance un scraper avec UXS, tu as un fichier missing.txt qui apparaît dans le répertoire scrappé.

Ce fichier contient : le nom du fichier de la rom, sa taille en octets, son Hash en CRC32 et sa date de dernière modif

C'est ce fichier qu'il faut envoyer à MarbleMad pour qu'il les ajoute C'est effectivement, une des rares choses qu'on ne peut pas faire directement

(Merci d'assurer le service après vente pendant mes absences ^^ )

[supernature2k]

Pas de soucis @screech, c'est que je commence à bien le connaitre ton soft Je vais voir pour créer un listing de roms manquantes. Où puis-je envoyer ça?

[voljega]

Sinon @Acris ne t'embête pas avec le renommage, le set no intro Vectrex se scrappe tout nickel avec UXS

[screech]

@Supernature2k je viens de demander à Marblemad comment il souhaite procéder je te tiens au courant

[acris]

@screech Je pensai kil aurait fait une recherche sur les 1ers mots avant la.parenthese. Cependant je viens de recuperer le set nointro et je narrivr pas à la scrapper. Jai un message d erreur line19421 Error subscript used on non acessible variable. Jai testé les 2 dernieres versions. @voljega jai recupere les autres roms nommées ainsi.

[voljega]

Ah tiens la même erreur que j'ai temporairement sur l'avant dernière version

[screech]

:S Je ne sais pas trop d'ou vient cette erreur :S Peut être le module de TimeOut (je vais checker)

[screech]

@Supernature2k voila la réponse de MarbleMad :

Il est prévu au final (pas encore eu le temps de m'en occuper) que la base de données des fichiers roms (et leur CRC) soit auto-alimenté par les requêtes API du scraper ! En attendant, il faut me contacter en MP pour que j'ajoute les packs de roms connu et reconnu (pas du fait maison perso) a screenscraper !

Donc en gros, la grosse question c'est : d'ou viennent les roms qui sont en missing ? (D'un site particulier, d'un romset particulier, c'est du fait maison, c'est trop underground ) enfin voila.

Du coup, rien ne t’empêche d'envoyer un MP à Marblemad (via screenzone) pour lui envoyer un fichier avec les roms manquantes en lui expliquant d'ou elles viennent ect

[voljega]

@Screech j'ai jamais essayé mais est ce que ton scraper gère les sous répertoires ds un réertoire de roms ? (Genre snes/shootemup snes/rpg etc)

[screech]

Malheureusement non... Pas pour le moment...

En fait j'ai bloqué la récursivité parce que ça fait des trucs bizarre ^^

Je dois pouvoir faire quelques modif pour que ça fonctionne, il faudrait que je me re-penche sur le sujet

[supernature2k]

Ok @screech, Ce que je voudrait ajouter en 1er ce sont des images PSX provenant d'un site anciennement listé par mr bot irc.

[screech]

@Supernature2k c'est que ça doit être du fiable ^^ Donc vas y surtout que c'est léger sur psi

[supernature2k]

@screech, en fait la plupart des roms PSX sur ce site sont en .cue+.bin Du coup je fourni quoi à marble?

[screech]

Les 2 ^^

[screech]

Nouvelle version : V1.3.0.11

Correction du bug avec le message d'erreur en cas de TimeOut ^^ ça ne devrait plus le refaire

[Nachtgarm]

Hey @screech. First of all: AWESOME Tool! Thank you!

I just downloaded the latest version of it and ran into an error, while trying to scrape SNES (EU Only) games in a local dir. So I was not scraping directly to my Pi. I got the following error after it actually scraped the first few games and downloaded the images (Recalbox V4 Mix)

Any Idea, what this might've caused? I'm using 1.3.0.10 64bit

EDIT: I tried the latest one just now (1.3.0.10, 64bit) which seems to be working fine, except the SSH commands are not working for me.
EDIT 2: With the latest version it has found all my SNES Games on my PI, downloaded all the images, but only every few are displayed in ES... any idea why this is happening? (There are only 60+ games on there)

[screech]

Hello @Nachtgarm

First of all, the last version is the 1.3.0.11
And this version fixe this error message (due to a TimeOut on Screenscraper)

For SSH fonction, It work (at last on my Recalbox ^^) had you change some password ?
If so, you can edit the SSH config in the UXS-config.ini file :

[CONNEXION]
Menu_SSH = 1
Plink_root = root
Plink_mdp = recalboxroot
Plink_IP = RECALBOX

For your SNES Scrape, if the SSH commands doesn't work had you kill Emulationstation manually ?
If not, that's why. Be sur emulationstation is killed before scrape (you have a black screen on your recalbox when it's done )

Let me know if there is other problem I'll try to help you as much as I can.

[PumpKHeaD]

Great job @screech, thank's for share this.
I have three questions...

I can remove "-image" in the images files in Universal XML Scraper menus, UXS-config.ini or another place?

You think about create a checkbox, menu... to add "<image>./image/game.png</image>" in XML when don't find nothing in screenscraper.fr? To us put a image manually.

Would you be interested in a Universal XML Scraper translation in Portuguese too?
https://www.dropbox.com/s/y4cr2vwwi7mudsd/UXS-PORTUGUESE.XML

[screech]

Hello @PumpKHeaD

Thank you very much for the translation !!!

This is the new v1.3.0.12
With portuguese language ^^

Concerning the missing image I'm not sur I understand your ask :S

If you want "in XML" file "./downloaded_images/game.png" when no image where found it's easy.

Juste Add :

$ELEMENT_12 = 'image|value|./downloaded_images/game.png|variable'

just after

$ELEMENT_10 = 'image|path:image|medias/media_screenshot|path:image'
$ELEMENT_11 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'

Don't forget to increment the following ELEMENT (12 become 13, 13 become 14 and so on til the end of the profile)

With this, you can have a unique image for every missing one.

If you want Adding in XML "./downloaded_images/xxx.png" where xxx.png is the name of the game. I need to check what I can do (but it's not impossible, I just need a little more time to see how to do it )

At last, for now it's impossible to remove the "-image" postfix to the file name. I need this for multiple image option (like if you want screenshot and 2DBox you can make a profile where there is "-screenshot" and "-2DBox" in the same directory.)

But I can give you an easy way to do it fast

Use a soft like xnview to mass rename your file (replace "-image." with "." in the filename)
And with notepad or other text editor, do the same (replace "-image." with ".") in your gamelist.xml

And voila ^^

[Nachtgarm]

@screech Thanks for the fast reply. So yes, all is working now as it should. I forgot, that I renamed my PI so of course I had to change the .ini as well.

Is the error I posted above the time-out error you are speaking of? Does not sound like one, but anyway... it has not reappeared after using 1.3.0.11.

What do you think about a German Translation? Do you want me to help with that? Further I'd like to post your tool in the German Section as well, with a German Tutorial, if are ok, with it.