[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
Alors, concernant les path :
$PathImage =\RECALBOX\User data\roms\neogeo\downloaded-images\ $PathImageSub =./downloaded_images/
il y a une erreur : Tu indiques au scraper de télécharger les image dans un répertoire downloaded-images Et tu indique à Recalbox qu'il les trouvera dans un répertoire downloaded_images (note la subtilité sur le - et le _ ) Donc forcement, les images sont bien téléchargé, mais recalbox ne les trouve pas. Concernant les Roms Neogeo, tous dépend d'ou elles viennent, déjà les fichiers sont plus gros (ce qui explique le temps de Hash plus, long, ça va plus vite de calculer un hash sur un fichier de quelques Ko sur NES, c'est plus long pour quelques Mo sur NeoGeo) Ensuite, le site screenscraper sur lequel je me base pour récupérer les infos ne contient pas encore tous les Hash du monde
Il est donc possible, qu'en fonction du set que tu possèdes, les hash ne soient pas présent. Le plus simple pour vérifier : tu regardes le fichier xml que le scraper t'as généré, tu prends le premier jeu et tu notes sont Hash. Tu vas ensuite sur le site de screenscraper, tu recherches ton jeu, et tu regarde la liste des roms rattachées pour voir si ton hash est bien présent. Si c'est le cas, c'est un bug de mon coté si ce n'est pas le cas, c'est que ta rom n'est pas encore référencée.... -
Yop du coup quelques questions : - La recherche du scrape se fait uniquement par hash ? Car mes roms ne sont pas en zip pour la plupart des systèmes,, elles proviennent de GoodSet extraits et longuement triés par genre - Toutes mes roms sont sur un HD externe du coup il est plus simple et plus rapide de scraper directement sur le disque en le branchant au PC, mais la fois où j'ai essayé ça n'a pas eu l'air de marcher, faut il obligatoirement scraper par réseau sur la recalbox ? - Pour le mode 'big picture' les images sont bien récupérés en grande taille et 600*600 par exemple et pas juste resizées après téléchargement ? Est ce qu'on peut tout simplement les récupérer dans leur taille d'origine ?
-
En effet, je comprends mieux le non affichage des images... merci! pour le hash des jeux neogeo, c'est dans quelle balise? <?xml version="1.0" encoding="UTF-8"?><gameList> <game source="ScreenScraper"> <path>./mslug5.zip</path> <crc32>8EA030BC</crc32> <md5>1B4CDA3EDD7220B13E63CEB50898AE59</md5> <sha1>9E295E48557D29354BB96977609C6B0BFE2A2444</sha1> </game>
-
@Voljega Effectivement, le scraper ne fonctionne (pour le moment) que via le HASH (limitation volontaire du site Screenscraper qui est, pour le moment, ma seule BDD de scrap) donc oui, s'il ne sont pas zippé d'origine (vs REzippé) ça va te poser probleme
désolé. Normalement, aucun soucis pour scraper ou tu veux... DD externe, reseau, Nas, Local. Il faut juste "jongler" avec les chemins pour indiquer les bons (par défaut, les chemins sont les chemins réseaux de la Recalbox, mais c'est facilement modifiable via le menu configuration) Concernant le redimensionnement, il est normalement de qualité c'est le site screenscraper qui s'occuppe du redimensionnement directement depuis l'image source (certain screenshot peuvent du coup n'etre pas très beau, du genre la gamegear qui a une résolution d'origine de 160x144 ^^) @Mathieu Cassou Le plus simple est de regarder le hash 8EA030BC Pour metal slug 5, le seul CRC référencé est 5CB0F587 (mslug5.zip) Dans les projets à plus ou moins long terme il y a : ajouter une BDD HASH/NOM de rom (mais c'est pas fait encore :p) -
OK merci pour toutes ces précisions... Du coup pour les set dézippés bah je rechoperais un no-intro que je scraperais pour récupérer les images et après j'éditerais mes paths images dans mon ancien game list... Ca sera long et chiant mais bon il faut bien en passer par là ! Et sinon je ne suis intéressé que par les covers, pas les screenshots, donc ça ne devrait pas poser de problème
-
Bon j'ai fait un premier essai là tout de suite ça s'est pas très bien passé. V'là ma conf [LAST_USE] $PathRom =C:\Temp\Prov\recalboxroms\o2em\ $PathRomSub =./ $PathNew =C:\Temp\Prov\recalboxroms\o2em\ $PathImage =C:\Temp\Prov\recalboxroms\o2em\downloaded_images $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang =0409 $HauteurImage = $LargeurImage = et donc je fais le malin j'essaye de scraper l'Odyssey 2... La barre affiche getting system list et ne trouve rien (faut il être au niveau de C:\Temp\Prov\recalboxroms ?) donc me demande de choisir dans la liste où il n'y a pas l'Odyssey 2 mais Videopac c'est censé être la même chose donc j'ai pris ça... Je lance les travaux... Là j'ai une fenêtre d'erreur (j'ai bien un Windows 64bits je précise) Line 1751 (File fileduscraper64) Error: The requested action with this object has failed Je clique sur OK, le scraper est mort mais plus inquiétant il m'a effacé toutes mes roms dans le répertoire en question ainsi que le gamelist.xml vide qui y était
-
???? Alors la ???? Première fois que je vois ça.... J'ai même pas 1751 lignes dans mon code ^^ (on va dire que ça vient de la compilation) Le message d'erreur m'est totalement inconnu et rien dans mon code ne s'appel "fileduscraper64" Enfin, aucune partie de mon code n'est susceptible "d'effacer" les roms... La seule action sur les roms est un "listage" qui prends les noms et les mets dans un tableau en mémoire et calcul les hash de chaque fichier.. de la à les effacer c'est super étonnant. Je viens de tester un scrape sur la videopac et c'est passé sans problème... (pour information, le choix du système n'a que peu d’influence sur le scrape en lui même, il ne s'agit que de remonter des informations au site Screenscraper. Tu aurais choisi la NES comme système avec des roms de la videopac que ça aurait fonctionné...) Peux tu m'envoyer le fichier log que je vois à partir de quel moment c'est partie en sucette ? Je vais aussi rajouter des traces et une fonction "verbose" pour gérer le niveau de trace... Mais c'est quand même super étrange...
-
OK je t'enverrai ça ce soir, je précise que j'ai essayé deux fois et que ça l'a fait deux fois ... La première fois j'ai eu une erreur différente avec un message plus gros mais je ne l'ai malheureusement pas noté fileduscraper64 = je voulais juste dire que à cet endroit là ça affichait le nom de ton exécutable scraper 64
-
Bon ben c'est d'autant plus barré que le log ne comporte aucune erreur, au contraire : http://dl.free.fr/knXQBNan1
-
J'ai trouvé l'erreur c'est que dans le path pour le xml (PathNew dans le fichier de conf) il faut le path+\gamelist.xml. Si on lui file pas ça il doit essayer d'écrire sur le répertoire plutôt que dans le fichier en binaire et du coup il en vient à effacer le contenu du répertoire Bon par contre la base est bien bien vide pour la Videopac/odyssey2, aucune image et c'est dommage que dans mon fichier gamelist généré le nom du jeu et toutes les autres infos présentes soit écrits entièrement en majuscule alors que côté screenscraper c'est écrit correctement...
-
cool (enfin de mon point de vue ^^) une erreur facilement corrigeable... Je vais ajouter un check pour vérifier le fichier gamelist.xml. Du coup effectivement je comprend mieux la suppression du contenue du répertoire (s'il a essayer d’écrire un fichier sur le nom d'un répertoire :S) (désolé :S) concernant la BDD, aujourd'hui elle est quasi complète sur les système courant, mais c'est vrai que les système un peu plus rare sont bien moins complet... Tu peux vérifier l'avancement du projet screenscraper (qui n'a que 3 mois ^^) ici : Choisi le systeme et regarde les éléments manquants) N’hésite pas a participer si tu le souhaite à l'évolution de la BDD qui grossie tous les jours
un screenshot par ci, un scan de jaquette par la, une petite traduction de temps en temps c'est par de multiple petite contribution que ce scraper deviendra une référence en FR (et peut être même en EN au vue de la qualité du contenu media qu'il contient...) En tout cas un gros merci pour ton test (et sa résolution du coup :p) -
T'inquiète j'ai rien perdu j'avais copié mes roms dedans pas déplacé
Et pour les majuscules du coup c'est un bug aussi ? Parce que du côté Screenscaper les textes, titres et autres infos sont bien en majuscules et minuscules Pas de souci j'essaierai de compléter Screenscaper si je peux... faudrait l'outil inverse qui complète les éléments pas remplis sur le site par le contenu du gamelist si on les as ahahah -
Ah oui, les maj, en fait ce n'est pas un bug, c'est une fonction
Si tu veux sans les MAJ, il te suffit de modifier le profil correspondant et de mettre un 0 à la place du 1 sur :$OPTION_MAJ = 1
En fait, Emulationstation passe tout en majuscule, le problème c'est qu'il ne sais pas le faire avec les caractères accentués. Du coup c'est moche
j'avais donc pris le partie de tout mettre en majuscule à la source. Mais c'est désactivable -
Bonjour à tous, Je rencontre un problème lors du scrapping de mes roms, je lance depuis mon PC avec ES stoppé via Putty, tout semble fonctionnait puis il m'annonce après l'analyse du fichier XML et ne scrappe jamais rien, ce qui est vraiment bizarre ce que le fichier xml ne contient jamais toutes les roms voir n'existe même pas (lorsque je le lance), mais si j'ouvre le fichier xml, j'ai par exemple une 10aine de roms avec des descriptions sur le fullset gameboy (no-intro au format zip), lorsque je déroule mes roms sur recalbox, j'ai effectivement quelques jeux avec des images et des descriptions et puis tout d'un coup, l'ecran se fige sur un ecran noir avec le logo de recalbox, obligé de reboot... Quelqu'un peut il m'aider à résoudre mon problème, merci par avance !
-
Je ne comprend pas trop ton problème en fait ? Peux tu essayer avec la dernière version : Universal XML Scraper Et si ça ne fonctionne pas, édite le fichier UXS-config.ini, met un 2 à la place du 1 sur la ligne
Verbose = 1
Relance ton scrape, et dépose le fichier log.txt ici
-
Avec la nouvelle version ça fonctionne niquel ! Je te remercie énormément ! Va savoir pourquoi mais je pense que ça venait peut-être aussi lors de la sélection/création du fichier xml (peut être lié au bug que tu as corrigé)
-
Hey! J'aimerais comprendre pourquoi faut il obligatoirement des .zip? J'ai lu les quelques pages auparavant, j'ai compris vite fait que c'était à "cause" du site screenscraper, mais pourquoi? (J'suis curieux, j'm'intéresse :D) Ca veut dire que mes jeux N64, faut que je les zippe pour les scrapper, puis ensuite les dézipper pour pouvoir jouer? Bonne continuation en tout cas!
-
Bonjour, super soft, mais je rencontre 2 bugs : Dans le .ini, les lignes $ELEMENT_11 = 'image|path:image|medias/media_screenshot|path:image' $ELEMENT_12 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image' $ELEMENT_13 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image' $ELEMENT_14 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_us|path:image' $ELEMENT_15 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image' se remettent toujours dans cet ordre quand je quitte le soft. C'est pas pratique car il faut éditer le .ini à chaque fois
Second bug, si j'ai déjà un fichier gamelist.xml et que je ance un scrappe, il est tout corrompu (pas d'images notamment). Si j'efface d'abord le contenu du fichier pas de soucis. Ensuite, niveau amélioration, il faudrait proposer dès l'ouverture de choisir le profil sans devoir aller dans le menu ... Merci encore pour ton boulot -
@Oskawa Le scrape des zip vient du fait que screenscraper ne peut (aujourd'hui) ne renvoyer des informations que pour une liste limitée de HASH. Ces hash (calcul d'une valeur sur un fichier) permette de fiabiliser les retours (1 hash = 1 fichier = 1 rom = 1 jeu. Pas d'erreur possible) Je déconseille de "reziper" un fichier déziper, cela peut modifier le hash (en fonction des paramètres de compression). Il vaut mieux partir des fichiers zipés originaux (genre des fulls set nointro) Pour simplifier, ce que je te conseil (même si ce n'est pas l'idéal) c'est de récupérer un set N64 no intro (facilement récupérable sur le net) de le nettoyer (avec Universal Rom Cleaner par exemple pour retirer les roms non souhaitées) de le scraper puis, de deziper les roms. Enfin, avec un éditeur de texte (ou avec la dernière version de Universal XML Editor que je vais bientôt mettre en ligne), tu ouvres le fichier XML et tu fais un remplacer de ".zip" par ".n64". C'est loin d’être l'idéal aujourd'hui, mais je ne doute pas que bientôt un maximum de roms/hash seront ajoutés par @marblemad pour augmenter la BDD
D'ailleurs, n’hésitez pas à participer à la base de Screenscraper aussi bien sur les associations rom(hash)/jeu que sur le contenue. On a besoin de vous @Gaetan_Colombier Le fichier ini peut être réinitialisé en cas de mise à jour du soft (quelques paramètres peuvent changer en cas de MaJ) par contre, normalement il ne modifie pas ce fichier si tu restes sur une même version. (Si c'est le cas, peux tu tester avec la toute dernière version et si possible passer le paramètre "verbose" à 2 dans le fichier ini et m'envoyer les traces ? merci ) concernant le fichier xml, pour le moment, il y a un écrasement systématique (pas de solution "append" aujourd'hui). Par contre, il n'est pas censé corrompre quoi que ce soit. Peux tu m'en dire plus sur ce que tu appels "corrompu" ? (voir me donner un exemple d'une partie corrompue de ton fichier) concernant le choix du profil, par défaut il s'agit du profil "screenscraper-recalbox V4" mais si tu modifie ce choix, il conserve cette modification pour la prochaine ouverte. (c'est pour ça que je ne demande pas le profil à l'ouverture. Mais c'est vrai que je pourrais le faire pour la 1ere ouverture et ne pas mettre de choix par défaut) Pour info, je travail actuellement, sur une version "append" (qui ne supprime pas l'existant et qui compilerait le meilleur du scrape ) ainsi qu'une completion par thegamedb des infos non encore disponible sur screenscraper. (Mais ce serait une fonction temporaire le temps que tous le monde participe à la BDD et qu'elle soit le plus complète possible ) -
Version Mac OS X version Mac OS X !
PS : Good job Screech !
