[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[geeknroll]

Ca nous promet un bon petit logiciel bien pratique! Recalbox avec les scrapes en français on ne pouvait pas rêver mieux. Autrement je confirme qu'il m'a fallu + d'1 minute pour scraper les 497 roms GGear: 1h30 pile poil pour 475 scrapes. Ca reste raisonnable, je ne suis pas encore à 16h comme @David, moi il m'a fallu + d'une heure pour 400 roms mastersystem (pour le même set mais j'avais viré quelque titres). Mais le résultat final est aux petits oignons! Je scrape par le réseau sur le disque dur branché à ma Rpi2 sous recalbox v4 Même la Rpi en veille chez moi j'ai l'impression que ça scrape, par contre le PC lui il reste allumé. Pour les consoles suivantes je vais d'abord trier pour éviter les doublons entre les jap, usa, eur, rev1, rev2, alpha, beta, charlie, delta, echo, fox-trot.... mdr Mais je me répète c'est du super bon boulot entre ce petit soft, tous ceux qui ont traduit les scrapes, et surtout la team recalbox.  Merci à vous tous.

[yassa57]

Salut geeknroll dis moi tu as dans le dossier images Tu les a en boitier de jeu ou en screenshoot ?

[geeknroll]

Salut TIT. Screenshots chez moi. Après c'est une question de préférences, pour ma part je trouve mieux de voir à quoi ressemble le jeu, et éventuellement le reconnaître, plutôt qu'une jaquette qui ne me dit rien. Mais apparemment si tu modifie le fichier de config de universalXMLscraper tu as moyen de récupérer les jaquettes. Où alors si tu n'aimes pas bidouiller tu patientes un peu... Screech va peut être rajouter une option dans une version future qui permettrais de choisir l'image a afficher.

[yassa57]

Oui j ai parler avec lui il ma vraiment bien aider un grand merci a lui

[screech]

Hello, Alors, voila une nouvelle version
BETA 1.0.0.1 (Lien non disponible merci de checker le github )

Les modif :

• Ne re-telecharge pas les images si elles existent
• Correction des profils pour les boîtiers
• Ajout d'un menu SSH pour kill emulationstation / Reboot / et Stop.

J'en ai profité pour refaire des petits tests. (Je sais pas d'ou j'ai sortie mes 1 minutes de scrape lol faut que j’arrête la moquette ^^) Avec le dl des images :

J'ai refait un test avec les images déjà présentes... Il ne les retelecharge pas, mais je n'ai pas constaté de gain de temps (bon au pire, cela économisera la bande passante et le serveur )

Je n'ai pas encore ajouté les traces, mais ça vient

[screech]

Ah oui, pour changer les images...

Pour des boîtiers en 2D, il suffit d'éditer le fichier config.ini et de changer les lignes suivantes :
$ELEMENT_11 = 'image|value|medias/media_screenshot|path:image'
$ELEMENT_12 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
$ELEMENT_13 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
$ELEMENT_14 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
$ELEMENT_15 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
En :
$ELEMENT_11 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
$ELEMENT_12 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
$ELEMENT_13 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
$ELEMENT_14 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
$ELEMENT_15 = 'image|value|medias/media_screenshot|path:image'

Du coup ça téléchargera en priorité les boîtiers FR, puis EU, puis US, puis JP et si vraiment aucun boitier un screenshot

BONUX :  Si vous voulez les boîtiers en 3D, remplacez simplement 2d par 3d dans les chemins

[yassa57]

Dans le nouveau logiciel avant on devait ecrire pour le gamelist images /images Maintenant dans le soft c est /downloaded-images/ Pour le.chemin des images a telecharger on doit creer un dossier images ou downloaded-image

[screech]

Officiellement, la recalbox V4 stock les images dans un rep nommé /downloaded-images/
(Si vous utilisé par exemple le scraper intégré dans la recalbox)
Officieusement, vous mettez ça ou vous voulez tant que le fichier gamelist.xml indique le bon chemin

[yassa57]

Petit probleme.au niveau de la gamelist tout se passe bien j ai les images toute ma gamelist est ok est pourtant quand je veux juste l.ouvrir avec esxml il me marque un message d erreur est donc quand je le.met dans la recalbox rien ne fonctionne j ai que la liste des jeux

[yassa57]

Alors que quand je scrappe avec esxml ou la methode scrapper depuis le pc les gamelist passent dans esxml quelqu un a t il eu ce probleme

[screech]

oui c'est un défaut de esxml :S si les différents éléments du fichier xml ne sont pas dans le bon ordre, esxml plante :S

C'est du au fait que je n'exploitait pas correctement le format xml dans esxml... et que dans le nouveau scraper j'utilise un vrai module pour cela des corrections sont à l'étude (et surtout une refonte de esxml sur la base du scraper )

[yassa57]

1. Quand je compare les deux gamelist celle de xml n est pas ordonner tout es sur la.meme ligne au niveau des 3 premieres lignes il manque aussi ca > a la fin de game
2. Par contre avec esxml ou celui de base scrapper via son pc les.gamelist sont ordonnees vont bien a la ligne
3. D ou cela peut il venir ?

[screech]

Tu pourrais m'envoyer ton fichier xml qui déconne que je regarde le résultat ?
Parce que tous ceux que j'ai généré sont correct.
(Attention, il est possible que si le scrape est stoppé en cours de génération, le dernier jeu ne soit pas complet et/ou correct.)

[kvtt]

Pour en revenir à mon problème de lenteur de scrap j'ai fini par l'annuler. Mes roms et donc les scraps sont sur clé usb. J'ai donc vérifier la clé usb sur mon pc et me suis aperçu qu'il y avait des erreurs sur la clé (répertoire illisible). J'ai bien essayé de réparer la clé avec fsck (sous Linux) mais en vain.... Bref j'ai changé de clé USB. Donc les lenteurs devait venir de la je pense. je vais tester la nouvelle version demain.

[yassa57]

screech voila le debut de mon gamelist il apparait tel quel tout aligner comme ca <?xml version="1.0" encoding="UTF-8"?><gameList> <game source="ScreenScraper"> <path>./86</path> <crc32/> <md5/> <sha1/> </game> <game source="ScreenScraper"> <path>./a.p.b. - all points bulletin (usa, europe).zip</path> <crc32>4E5B2FFB</crc32> <md5>CE4CF97F08204A78771E2F80949837ED</md5> <sha1>F5405A32126CA3664BFDB09A022B45713B9875A4</sha1> </game> <game source="ScreenScraper"> <path>./alien vs predator (usa) (proto).zip</path> <crc32>92B517E5</crc32> <md5>2F8D0874E478891D32649552FE5B5F8D</md5> <sha1>43C3596F69D21A3C8247110C557B5C396D38616B</sha1> </game> <game source="ScreenScraper"> <path>./awesome golf (usa, europe).zip</path> <crc32>24E45DE5</crc32> <md5>107C23E8A68A8BD987C04DC0D9C81971</md5> <sha1>F496670EB97F42F18B404F98B64A92DA5526947E</sha1> </game> <game source="ScreenScraper"> <path>./baseball heroes (usa, europe).zip</path> <crc32>1EC202B2</crc32> <md5>33E442B8B7798B73118DBAAD760AE9F3</md5> <sha1>527DD2641B54F03A926575C2E29E6E4C7AC8103B</sha1> </game>

[yassa57]

Ce sera peut etre plus visible la.

[screech]

A priori, c'est le premier fichier qui pose problème :S
Tu aurais sont nom complet ?
à priori, il s'appel : "86 a.p.b. – all points bulletin (usa, europe).zip" et il doit y avoir quelque chose entre le "86" et le "a" non ?
En tout cas c'est bizarre, le scraper ne référence normalement que les fichier qui contiennent un Z dans l'extension (genre zip ou 7z)
Donc, ou il y a un symbole étrange qui découpe le nom du fichier en 2 ou le fichier 86 je sais pas quoi à une extension caché ?

Sinon, hormis qu'aucun Hash n'est retrouvé sur screenscraper (et donc aucune info de récupéré) tous me semble normal.

[yassa57]

Je vais essayer de supprimer ce zip et de le relancer voir si c est.mizuw pourtant ce sont des fichiers no.intro.

[kvtt]

Salut,

J'ai un problème avec la mise en place du gamelist.xml sur la recallbox. Je scrap les roms en local pour generer le xml et les images, ca marche bien, ensuite je copie-colle les images et le xml vers la recallbox (version 4). mais si je relance la recallbox (/etc/init.d/S31emulationstation restart), mon gamelist est regénéré et celui de Universal XML Scraper est écrasé. J'ai loupé quelque chose dans la procèdure de mise en place ? Par avance merci.

je me reponds : bien penser à killer emulationstation avant de copier-coller le fichier XML vers la recallbox, mais aussi attention si création d'un fichier vierge gamelist.xml sous windows car l'encodage du fichier semble poser des problèmes, j'ai du le réouvrir sous linux et l'enregistrer au format UNIX/Linux. En resumé je pense qu'il vaut mieux scraper directement sur le recalbox pour eviter ces problèmes d'encodage.

[screech]

Concernant le "Kill" d'emulationstation, vous pouvez le faire directement depuis le scraper
(j'ai ajouté un menu SSH)
Si vous avez changé vos identifiants, il faut les configurer dans le fichier config.ini (pour le moment)
Mais par défaut ce sont ceux par défaut de la recalbox
Pour l'encodage, c'est sensé etre de l'UTF 8 mais j'ai effectivement constaté des problèmes dans certain cas (notamment au niveau des retours à la ligne qui sont des CRLF au lieu de LF tous court).
Mais à priori rien de bloquant... (en tout cas, la recalbox ne ma pas posé de problème pour traiter le xml généré)
Pour la génération des xml, j'utilise le XDOM de windows, qui est sensé faire quelque chose de valide... sous windows... Welcome in the Micro$oft world :S