[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[mkazoo]

je ne sais pas si c'est normal, mais si je regarde le lien de l'image d'un jeu depuis mon pc, ça se présente comme ça : RECALBOX\User data\roms\mastersystem\downloaded-images\nomdujeu.jpg tandis que si j'édite les données du jeu depuis recalbox et que je regarde le chemin de l'image lié au jeu, y'a un truc comme RECALBOX/Share/roms/mastersystem/downloaded-images/nomdujeu.jpg donc y'a Share à la place de User Data dans le chemin, est ce normal?

[mkazoo]

.

[screech]

Normalement, dans le fichier XML (et donc quand tu regardes les infos depuis la recalbox) le chemin devrait être : ./downloaded_images/nomdujeu-image.jpg Ce qui confirme que la config du scraper n'est pas bonne.... Peux tu me faire un copier coller des dernières lignes du fichier config (la partie [LAST USE] )

[screech]

@rockaddicted C'est fait c'est corrigé pour le rating sur 1 au lieu de sur 20 Voici les corrections de la derniere version : Version 1.0.0.6

• Ajout d'une mise à jour des fichiers en cas de MaJ (En cas de MaJ, les differents fichiers du soft, donc le fichier config, sera aussi mis à jour
• Ajout des images systèmes après le choix des systèmes
• Ajout d'un calcul pour que les ratings soit sur 1 plutot que sur 20 dans le cas de la recalbox
• Correction du chemin de substitution des images dans le profile standard (_ au lieu de - sur le rep "downloaded_images")

[cannasteve]

@Mathieu Cassou Oui c'est normal c'est le dossier partagé que tu vois sous Windows, il faut juste que dans ton gamelist.xml présent dans le dossier roms le chemin du dossier image soit bon <image>**./downloaded-images/**MARIO-image.png</image>  

[mkazoo]

Je ne comprends vraiment pas...j'ai enfin réussi à scrapper les jeux, mais c'est hyper aléatoire.... soit il me met les infos des jeux dans l'interface, mais sans l'image, soit il met aucune info, juste les noms des jeux, soit tout est nickel. Le seul moyen que j'ai trouvé pour que ça marche, c'est d'effacer à chaque fois les fichier lié au logiciel : UXS-config.ini, le dossier Ressources etc... et ne laisser que l'exe et lancer l'opération à nouveau...je ne sais pas trop....

[screech]

Encore une fois, tant que tu n'aurais pas posté un copier collé de la partie [LAST USE] qui est à la fin du fichier de conf, je ne peux pas beaucoup t'aider... Hormis que d'après ce que tu dis il faut bien que tu vérifie tes chemins... Je suis sur que c'est ça qui n'est pas correctement mis dans la partie configuration....

[mkazoo]

j'ai un probleme avec le systeme neogeo. il mouline pendant des plombes (le hash doit durer au moins 15min pour meme pas 20 jeux et au final , il reussi 0 scrape... voici la fin du fichier conf : [LAST_USE] $PathRom =\RECALBOX\User data\roms\neogeo\ $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\neogeo\gamelist.xml $PathImage =\RECALBOX\User data\roms\neogeo\downloaded-images\ $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang = 040c $HauteurImage = $LargeurImage =

[screech]

Alors, concernant les path :

$PathImage =\RECALBOX\User data\roms\neogeo\downloaded-images\ $PathImageSub =./downloaded_images/

il y a une erreur : Tu indiques au scraper de télécharger les image dans un répertoire downloaded-images Et tu indique à Recalbox qu'il les trouvera dans un répertoire downloaded_images (note la subtilité sur le - et le _ ) Donc forcement, les images sont bien téléchargé, mais recalbox ne les trouve pas.   Concernant les Roms Neogeo, tous dépend d'ou elles viennent, déjà les fichiers sont plus gros (ce qui explique le temps de Hash plus, long, ça va plus vite de calculer un hash sur un fichier de quelques Ko sur NES, c'est plus long pour quelques Mo sur NeoGeo) Ensuite, le site screenscraper sur lequel je me base pour récupérer les infos ne contient pas encore tous les Hash du monde Il est donc possible, qu'en fonction du set que tu possèdes, les hash ne soient pas présent. Le plus simple pour vérifier : tu regardes le fichier xml que le scraper t'as généré, tu prends le premier jeu et tu notes sont Hash. Tu vas ensuite sur le site de screenscraper, tu recherches ton jeu, et tu regarde la liste des roms rattachées pour voir si ton hash est bien présent. Si c'est le cas, c'est un bug de mon coté si ce n'est pas le cas, c'est que ta rom n'est pas encore référencée....

[voljega]

Yop du coup quelques questions : - La recherche du scrape se fait uniquement par hash ? Car mes roms ne sont pas en zip pour la plupart des systèmes,, elles proviennent de GoodSet extraits et longuement triés par genre - Toutes mes roms sont sur un HD externe du coup il est plus simple et plus rapide de scraper directement sur le disque en le branchant au PC, mais la fois où j'ai essayé ça n'a pas eu l'air de marcher, faut il obligatoirement scraper par réseau sur la recalbox ? - Pour le mode 'big picture' les images sont bien récupérés en grande taille et 600*600 par exemple et pas juste resizées après téléchargement ? Est ce qu'on peut tout simplement les récupérer dans leur taille d'origine ?

[mkazoo]

En effet, je comprends mieux le non affichage des images... merci! pour le hash des jeux neogeo, c'est dans quelle balise? <?xml version="1.0" encoding="UTF-8"?><gameList> <game source="ScreenScraper"> <path>./mslug5.zip</path> <crc32>8EA030BC</crc32> <md5>1B4CDA3EDD7220B13E63CEB50898AE59</md5> <sha1>9E295E48557D29354BB96977609C6B0BFE2A2444</sha1> </game>

[screech]

@Voljega Effectivement, le scraper ne fonctionne (pour le moment) que via le HASH (limitation volontaire du site Screenscraper qui est, pour le moment, ma seule BDD de scrap) donc oui, s'il ne sont pas zippé d'origine (vs REzippé) ça va te poser probleme désolé. Normalement, aucun soucis pour scraper ou tu veux... DD externe, reseau, Nas, Local. Il faut juste "jongler" avec les chemins pour indiquer les bons (par défaut, les chemins sont les chemins réseaux de la Recalbox, mais c'est facilement modifiable via le menu configuration) Concernant le redimensionnement, il est normalement de qualité c'est le site screenscraper qui s'occuppe du redimensionnement directement depuis l'image source (certain screenshot peuvent du coup n'etre pas très beau, du genre la gamegear qui a une résolution d'origine de 160x144 ^^) @Mathieu Cassou Le plus simple est de regarder le hash 8EA030BC Pour metal slug 5, le seul CRC référencé est 5CB0F587 (mslug5.zip) Dans les projets à plus ou moins long terme il y a : ajouter une BDD HASH/NOM de rom (mais c'est pas fait encore :p)

[voljega]

OK merci pour toutes ces précisions... Du coup pour les set dézippés bah je rechoperais un no-intro que je scraperais pour récupérer les images et après j'éditerais mes paths images dans mon ancien game list... Ca sera long et chiant mais bon il faut bien en passer par là ! Et sinon je ne suis intéressé que par les covers, pas les screenshots, donc ça ne devrait pas poser de problème

[voljega]

Bon j'ai fait un premier essai là tout de suite ça s'est pas très bien passé. V'là ma conf [LAST_USE] $PathRom        =C:\Temp\Prov\recalboxroms\o2em\ $PathRomSub        =./ $PathNew        =C:\Temp\Prov\recalboxroms\o2em\ $PathImage        =C:\Temp\Prov\recalboxroms\o2em\downloaded_images $PathImageSub    =./downloaded_images/ $No_Profil        =1 $user_lang        =0409 $HauteurImage        = $LargeurImage        =   et donc je fais le malin j'essaye de scraper l'Odyssey 2... La barre affiche getting system list et ne trouve rien (faut il être au niveau de C:\Temp\Prov\recalboxroms ?) donc me demande de choisir dans la liste où il n'y a pas l'Odyssey 2 mais Videopac c'est censé être la même chose donc j'ai pris ça... Je lance les travaux... Là j'ai une fenêtre d'erreur (j'ai bien un Windows 64bits je précise) Line 1751 (File fileduscraper64) Error: The requested action with this object has failed Je clique sur OK, le scraper est mort mais plus inquiétant il m'a effacé toutes mes roms dans le répertoire en question ainsi que le gamelist.xml vide qui y était

[screech]

???? Alors la ???? Première fois que je vois ça.... J'ai même pas 1751 lignes dans mon code ^^ (on va dire que ça vient de la compilation) Le message d'erreur m'est totalement inconnu et rien dans mon code ne s'appel "fileduscraper64" Enfin, aucune partie de mon code n'est susceptible "d'effacer" les roms... La seule action sur les roms est un "listage" qui prends les noms et les mets dans un tableau en mémoire et calcul les hash de chaque fichier.. de la à les effacer c'est super étonnant. Je viens de tester un scrape sur la videopac et c'est passé sans problème... (pour information, le choix du système n'a que peu d’influence sur le scrape en lui même, il ne s'agit que de remonter des informations au site Screenscraper. Tu aurais choisi la NES comme système avec des roms de la videopac que ça aurait fonctionné...) Peux tu m'envoyer le fichier log que je vois à partir de quel moment c'est partie en sucette ? Je vais aussi rajouter des traces et une fonction "verbose" pour gérer le niveau de trace... Mais c'est quand même super étrange...

[voljega]

OK je t'enverrai ça ce soir, je précise que j'ai essayé deux fois et que ça l'a fait deux fois ... La première fois j'ai eu une erreur différente avec un message plus gros mais je ne l'ai malheureusement pas noté fileduscraper64 = je voulais juste dire que à cet endroit là ça affichait le nom de ton exécutable scraper 64

[voljega]

Bon ben c'est d'autant plus barré que le log ne comporte aucune erreur, au contraire : http://dl.free.fr/knXQBNan1

[voljega]

J'ai trouvé l'erreur c'est que dans le path pour le xml (PathNew dans le fichier de conf) il faut le path+\gamelist.xml. Si on lui file pas ça il doit essayer d'écrire sur le répertoire plutôt que dans le fichier en binaire et du coup il en vient à effacer le contenu du répertoire Bon par contre la base est bien bien vide pour la Videopac/odyssey2, aucune image et c'est dommage que dans mon fichier gamelist généré le nom du jeu et toutes les autres infos présentes soit écrits entièrement en majuscule alors que côté screenscraper c'est écrit correctement...

[screech]

cool (enfin de mon point de vue ^^) une erreur facilement corrigeable... Je vais ajouter un check pour vérifier le fichier gamelist.xml. Du coup effectivement je comprend mieux la suppression du contenue du répertoire (s'il a essayer d’écrire un fichier sur le nom d'un répertoire :S) (désolé :S) concernant la BDD, aujourd'hui elle est quasi complète sur les système courant, mais c'est vrai que les système un peu plus rare sont bien moins complet... Tu peux vérifier l'avancement du projet screenscraper (qui n'a que 3 mois ^^) ici : Choisi le systeme et regarde les éléments manquants) N’hésite pas a participer si tu le souhaite à l'évolution de la BDD qui grossie tous les jours un screenshot par ci, un scan de jaquette par la, une petite traduction de temps en temps c'est par de multiple petite contribution que ce scraper deviendra une référence en FR (et peut être même en EN au vue de la qualité du contenu media qu'il contient...) En tout cas un gros merci pour ton test (et sa résolution du coup :p)

[voljega]

T'inquiète j'ai rien perdu j'avais copié mes roms dedans pas déplacé Et pour les majuscules du coup c'est un bug aussi ? Parce que du côté Screenscaper les textes, titres et autres infos sont bien en majuscules et minuscules Pas de souci j'essaierai de compléter Screenscaper si je peux... faudrait l'outil inverse qui complète les éléments pas remplis sur le site par le contenu du gamelist si on les as ahahah