[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[mkazoo]

Salut Screech, merci pour ton programme. je commence à l'utiliser, mais j'ai un soucis. Je le fais tourner, tout se passe bien, mais je n'ai pas l'affichage des images une fois dans l'interface. Il y a toutes les infos pour les jeux (résumé, date, éditeur etc...) mais pas de lien vers l'image dans le xml alors que ton logiciel a bien créé le dossier image et téléchargé l'image dedans. Sais tu pourquoi? Merci de ton aide

[screech]

Pourrais-tu m'envoyer la fin de ton fichier conf (la partie [LAST_USE] ) Il est possible qu'il y ai une erreur dans le path de substitution Ainsi qu'un copié collé d'un petit bout du xml généré (genre un ou 2 jeux)   On a détecté une boulette entre le _ et le - sur le chemin downloaded_images... ça viens surement de ça... En gros, si tu as réutilisé le répertoire généré par Recalbax tu as downloaded_images. Par contre, si tu as laissé le chemin de substitution de base, tu as ./downloaded-images/ avec un - au lieu d'un _ Si c'est le cas, un simple éditeur de texte, "remplacer" <span style="line-height: 1.5;">downloaded-images en </span><span style="line-height: 1.5;">downloaded_images devrait corriger. ça évitera de tout rescraper ;)</span> (Bien penser à faire un kill emulationstation avant ) Il faut vraiment que je refasse une version rapidement (dès que j'ai 5 minutes, je recompile )

[mkazoo]

ce dont je me suis rendu compte, c'est qu'avant de lancer la procedure de scrape, lorsque je faiskillAll à partir de ton logiciel, il ne se passe rien du coté du raspberry, il reste allumé. Si je le fais par Putty, j'arrive sur un écran noir avec le logo recalbox, je ne sais pas si c'est bon?....

[screech]

Effectivement, Le Killall Emulationstation devrait fonctionner (tu es le 2eme à me dire que ce n'est pas le cas. Pourtant chez moi ça fonctionne, il faut que je revois ça) Sinon, en passant par Putty, tu dois obtenir un écran noir sur ta recalbox. C'est normal. Je te laisse consulter le TUTO Mais de base, si tu as les descriptions en FR, c'est que le scrape à fonctionné. S'il n'y a que les images qui ne s'affichent pas, il s'agit surement d'un problème de chemin.

[mkazoo]

je ne sais pas si c'est normal, mais si je regarde le lien de l'image d'un jeu depuis mon pc, ça se présente comme ça : RECALBOX\User data\roms\mastersystem\downloaded-images\nomdujeu.jpg tandis que si j'édite les données du jeu depuis recalbox et que je regarde le chemin de l'image lié au jeu, y'a un truc comme RECALBOX/Share/roms/mastersystem/downloaded-images/nomdujeu.jpg donc y'a Share à la place de User Data dans le chemin, est ce normal?

[mkazoo]

.

[screech]

Normalement, dans le fichier XML (et donc quand tu regardes les infos depuis la recalbox) le chemin devrait être : ./downloaded_images/nomdujeu-image.jpg Ce qui confirme que la config du scraper n'est pas bonne.... Peux tu me faire un copier coller des dernières lignes du fichier config (la partie [LAST USE] )

[screech]

@rockaddicted C'est fait c'est corrigé pour le rating sur 1 au lieu de sur 20 Voici les corrections de la derniere version : Version 1.0.0.6

• Ajout d'une mise à jour des fichiers en cas de MaJ (En cas de MaJ, les differents fichiers du soft, donc le fichier config, sera aussi mis à jour
• Ajout des images systèmes après le choix des systèmes
• Ajout d'un calcul pour que les ratings soit sur 1 plutot que sur 20 dans le cas de la recalbox
• Correction du chemin de substitution des images dans le profile standard (_ au lieu de - sur le rep "downloaded_images")

[cannasteve]

@Mathieu Cassou Oui c'est normal c'est le dossier partagé que tu vois sous Windows, il faut juste que dans ton gamelist.xml présent dans le dossier roms le chemin du dossier image soit bon <image>**./downloaded-images/**MARIO-image.png</image>  

[mkazoo]

Je ne comprends vraiment pas...j'ai enfin réussi à scrapper les jeux, mais c'est hyper aléatoire.... soit il me met les infos des jeux dans l'interface, mais sans l'image, soit il met aucune info, juste les noms des jeux, soit tout est nickel. Le seul moyen que j'ai trouvé pour que ça marche, c'est d'effacer à chaque fois les fichier lié au logiciel : UXS-config.ini, le dossier Ressources etc... et ne laisser que l'exe et lancer l'opération à nouveau...je ne sais pas trop....

[screech]

Encore une fois, tant que tu n'aurais pas posté un copier collé de la partie [LAST USE] qui est à la fin du fichier de conf, je ne peux pas beaucoup t'aider... Hormis que d'après ce que tu dis il faut bien que tu vérifie tes chemins... Je suis sur que c'est ça qui n'est pas correctement mis dans la partie configuration....

[mkazoo]

j'ai un probleme avec le systeme neogeo. il mouline pendant des plombes (le hash doit durer au moins 15min pour meme pas 20 jeux et au final , il reussi 0 scrape... voici la fin du fichier conf : [LAST_USE] $PathRom =\RECALBOX\User data\roms\neogeo\ $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\neogeo\gamelist.xml $PathImage =\RECALBOX\User data\roms\neogeo\downloaded-images\ $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang = 040c $HauteurImage = $LargeurImage =

[screech]

Alors, concernant les path :

$PathImage =\RECALBOX\User data\roms\neogeo\downloaded-images\ $PathImageSub =./downloaded_images/

il y a une erreur : Tu indiques au scraper de télécharger les image dans un répertoire downloaded-images Et tu indique à Recalbox qu'il les trouvera dans un répertoire downloaded_images (note la subtilité sur le - et le _ ) Donc forcement, les images sont bien téléchargé, mais recalbox ne les trouve pas.   Concernant les Roms Neogeo, tous dépend d'ou elles viennent, déjà les fichiers sont plus gros (ce qui explique le temps de Hash plus, long, ça va plus vite de calculer un hash sur un fichier de quelques Ko sur NES, c'est plus long pour quelques Mo sur NeoGeo) Ensuite, le site screenscraper sur lequel je me base pour récupérer les infos ne contient pas encore tous les Hash du monde Il est donc possible, qu'en fonction du set que tu possèdes, les hash ne soient pas présent. Le plus simple pour vérifier : tu regardes le fichier xml que le scraper t'as généré, tu prends le premier jeu et tu notes sont Hash. Tu vas ensuite sur le site de screenscraper, tu recherches ton jeu, et tu regarde la liste des roms rattachées pour voir si ton hash est bien présent. Si c'est le cas, c'est un bug de mon coté si ce n'est pas le cas, c'est que ta rom n'est pas encore référencée....

[voljega]

Yop du coup quelques questions : - La recherche du scrape se fait uniquement par hash ? Car mes roms ne sont pas en zip pour la plupart des systèmes,, elles proviennent de GoodSet extraits et longuement triés par genre - Toutes mes roms sont sur un HD externe du coup il est plus simple et plus rapide de scraper directement sur le disque en le branchant au PC, mais la fois où j'ai essayé ça n'a pas eu l'air de marcher, faut il obligatoirement scraper par réseau sur la recalbox ? - Pour le mode 'big picture' les images sont bien récupérés en grande taille et 600*600 par exemple et pas juste resizées après téléchargement ? Est ce qu'on peut tout simplement les récupérer dans leur taille d'origine ?

[mkazoo]

En effet, je comprends mieux le non affichage des images... merci! pour le hash des jeux neogeo, c'est dans quelle balise? <?xml version="1.0" encoding="UTF-8"?><gameList> <game source="ScreenScraper"> <path>./mslug5.zip</path> <crc32>8EA030BC</crc32> <md5>1B4CDA3EDD7220B13E63CEB50898AE59</md5> <sha1>9E295E48557D29354BB96977609C6B0BFE2A2444</sha1> </game>

[screech]

@Voljega Effectivement, le scraper ne fonctionne (pour le moment) que via le HASH (limitation volontaire du site Screenscraper qui est, pour le moment, ma seule BDD de scrap) donc oui, s'il ne sont pas zippé d'origine (vs REzippé) ça va te poser probleme désolé. Normalement, aucun soucis pour scraper ou tu veux... DD externe, reseau, Nas, Local. Il faut juste "jongler" avec les chemins pour indiquer les bons (par défaut, les chemins sont les chemins réseaux de la Recalbox, mais c'est facilement modifiable via le menu configuration) Concernant le redimensionnement, il est normalement de qualité c'est le site screenscraper qui s'occuppe du redimensionnement directement depuis l'image source (certain screenshot peuvent du coup n'etre pas très beau, du genre la gamegear qui a une résolution d'origine de 160x144 ^^) @Mathieu Cassou Le plus simple est de regarder le hash 8EA030BC Pour metal slug 5, le seul CRC référencé est 5CB0F587 (mslug5.zip) Dans les projets à plus ou moins long terme il y a : ajouter une BDD HASH/NOM de rom (mais c'est pas fait encore :p)

[voljega]

OK merci pour toutes ces précisions... Du coup pour les set dézippés bah je rechoperais un no-intro que je scraperais pour récupérer les images et après j'éditerais mes paths images dans mon ancien game list... Ca sera long et chiant mais bon il faut bien en passer par là ! Et sinon je ne suis intéressé que par les covers, pas les screenshots, donc ça ne devrait pas poser de problème

[voljega]

Bon j'ai fait un premier essai là tout de suite ça s'est pas très bien passé. V'là ma conf [LAST_USE] $PathRom        =C:\Temp\Prov\recalboxroms\o2em\ $PathRomSub        =./ $PathNew        =C:\Temp\Prov\recalboxroms\o2em\ $PathImage        =C:\Temp\Prov\recalboxroms\o2em\downloaded_images $PathImageSub    =./downloaded_images/ $No_Profil        =1 $user_lang        =0409 $HauteurImage        = $LargeurImage        =   et donc je fais le malin j'essaye de scraper l'Odyssey 2... La barre affiche getting system list et ne trouve rien (faut il être au niveau de C:\Temp\Prov\recalboxroms ?) donc me demande de choisir dans la liste où il n'y a pas l'Odyssey 2 mais Videopac c'est censé être la même chose donc j'ai pris ça... Je lance les travaux... Là j'ai une fenêtre d'erreur (j'ai bien un Windows 64bits je précise) Line 1751 (File fileduscraper64) Error: The requested action with this object has failed Je clique sur OK, le scraper est mort mais plus inquiétant il m'a effacé toutes mes roms dans le répertoire en question ainsi que le gamelist.xml vide qui y était

[screech]

???? Alors la ???? Première fois que je vois ça.... J'ai même pas 1751 lignes dans mon code ^^ (on va dire que ça vient de la compilation) Le message d'erreur m'est totalement inconnu et rien dans mon code ne s'appel "fileduscraper64" Enfin, aucune partie de mon code n'est susceptible "d'effacer" les roms... La seule action sur les roms est un "listage" qui prends les noms et les mets dans un tableau en mémoire et calcul les hash de chaque fichier.. de la à les effacer c'est super étonnant. Je viens de tester un scrape sur la videopac et c'est passé sans problème... (pour information, le choix du système n'a que peu d’influence sur le scrape en lui même, il ne s'agit que de remonter des informations au site Screenscraper. Tu aurais choisi la NES comme système avec des roms de la videopac que ça aurait fonctionné...) Peux tu m'envoyer le fichier log que je vois à partir de quel moment c'est partie en sucette ? Je vais aussi rajouter des traces et une fonction "verbose" pour gérer le niveau de trace... Mais c'est quand même super étrange...

[voljega]

OK je t'enverrai ça ce soir, je précise que j'ai essayé deux fois et que ça l'a fait deux fois ... La première fois j'ai eu une erreur différente avec un message plus gros mais je ne l'ai malheureusement pas noté fileduscraper64 = je voulais juste dire que à cet endroit là ça affichait le nom de ton exécutable scraper 64