[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
Bonjour à tous, Je rencontre un problème lors du scrapping de mes roms, je lance depuis mon PC avec ES stoppé via Putty, tout semble fonctionnait puis il m'annonce après l'analyse du fichier XML et ne scrappe jamais rien, ce qui est vraiment bizarre ce que le fichier xml ne contient jamais toutes les roms voir n'existe même pas (lorsque je le lance), mais si j'ouvre le fichier xml, j'ai par exemple une 10aine de roms avec des descriptions sur le fullset gameboy (no-intro au format zip), lorsque je déroule mes roms sur recalbox, j'ai effectivement quelques jeux avec des images et des descriptions et puis tout d'un coup, l'ecran se fige sur un ecran noir avec le logo de recalbox, obligé de reboot... Quelqu'un peut il m'aider à résoudre mon problème, merci par avance !
-
Je ne comprend pas trop ton problème en fait ? Peux tu essayer avec la dernière version : Universal XML Scraper Et si ça ne fonctionne pas, édite le fichier UXS-config.ini, met un 2 à la place du 1 sur la ligne
Verbose = 1
Relance ton scrape, et dépose le fichier log.txt ici
-
Avec la nouvelle version ça fonctionne niquel ! Je te remercie énormément ! Va savoir pourquoi mais je pense que ça venait peut-être aussi lors de la sélection/création du fichier xml (peut être lié au bug que tu as corrigé)
-
Hey! J'aimerais comprendre pourquoi faut il obligatoirement des .zip? J'ai lu les quelques pages auparavant, j'ai compris vite fait que c'était à "cause" du site screenscraper, mais pourquoi? (J'suis curieux, j'm'intéresse :D) Ca veut dire que mes jeux N64, faut que je les zippe pour les scrapper, puis ensuite les dézipper pour pouvoir jouer? Bonne continuation en tout cas!
-
Bonjour, super soft, mais je rencontre 2 bugs : Dans le .ini, les lignes $ELEMENT_11 = 'image|path:image|medias/media_screenshot|path:image' $ELEMENT_12 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image' $ELEMENT_13 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image' $ELEMENT_14 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_us|path:image' $ELEMENT_15 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image' se remettent toujours dans cet ordre quand je quitte le soft. C'est pas pratique car il faut éditer le .ini à chaque fois
Second bug, si j'ai déjà un fichier gamelist.xml et que je ance un scrappe, il est tout corrompu (pas d'images notamment). Si j'efface d'abord le contenu du fichier pas de soucis. Ensuite, niveau amélioration, il faudrait proposer dès l'ouverture de choisir le profil sans devoir aller dans le menu ... Merci encore pour ton boulot -
@Oskawa Le scrape des zip vient du fait que screenscraper ne peut (aujourd'hui) ne renvoyer des informations que pour une liste limitée de HASH. Ces hash (calcul d'une valeur sur un fichier) permette de fiabiliser les retours (1 hash = 1 fichier = 1 rom = 1 jeu. Pas d'erreur possible) Je déconseille de "reziper" un fichier déziper, cela peut modifier le hash (en fonction des paramètres de compression). Il vaut mieux partir des fichiers zipés originaux (genre des fulls set nointro) Pour simplifier, ce que je te conseil (même si ce n'est pas l'idéal) c'est de récupérer un set N64 no intro (facilement récupérable sur le net) de le nettoyer (avec Universal Rom Cleaner par exemple pour retirer les roms non souhaitées) de le scraper puis, de deziper les roms. Enfin, avec un éditeur de texte (ou avec la dernière version de Universal XML Editor que je vais bientôt mettre en ligne), tu ouvres le fichier XML et tu fais un remplacer de ".zip" par ".n64". C'est loin d’être l'idéal aujourd'hui, mais je ne doute pas que bientôt un maximum de roms/hash seront ajoutés par @marblemad pour augmenter la BDD
D'ailleurs, n’hésitez pas à participer à la base de Screenscraper aussi bien sur les associations rom(hash)/jeu que sur le contenue. On a besoin de vous @Gaetan_Colombier Le fichier ini peut être réinitialisé en cas de mise à jour du soft (quelques paramètres peuvent changer en cas de MaJ) par contre, normalement il ne modifie pas ce fichier si tu restes sur une même version. (Si c'est le cas, peux tu tester avec la toute dernière version et si possible passer le paramètre "verbose" à 2 dans le fichier ini et m'envoyer les traces ? merci ) concernant le fichier xml, pour le moment, il y a un écrasement systématique (pas de solution "append" aujourd'hui). Par contre, il n'est pas censé corrompre quoi que ce soit. Peux tu m'en dire plus sur ce que tu appels "corrompu" ? (voir me donner un exemple d'une partie corrompue de ton fichier) concernant le choix du profil, par défaut il s'agit du profil "screenscraper-recalbox V4" mais si tu modifie ce choix, il conserve cette modification pour la prochaine ouverte. (c'est pour ça que je ne demande pas le profil à l'ouverture. Mais c'est vrai que je pourrais le faire pour la 1ere ouverture et ne pas mettre de choix par défaut) Pour info, je travail actuellement, sur une version "append" (qui ne supprime pas l'existant et qui compilerait le meilleur du scrape ) ainsi qu'une completion par thegamedb des infos non encore disponible sur screenscraper. (Mais ce serait une fonction temporaire le temps que tous le monde participe à la BDD et qu'elle soit le plus complète possible ) -
Version Mac OS X version Mac OS X !
PS : Good job Screech ! -
Arg. Je n'ai malheureusement aucune connaissance dans l'univers mac. Et encore moins le matériel :$ vraiment désolé. ..
-
Bon je crois que ton soft me hait
J'ai lancé un scrape du full set gameboy (1600 roms) ça a pris 9h à la fin il me dit bien qu'il en a trouvé 1596, le gamelist est bien rempli avec des infos dont des paths vers les png des images mais dans le répertoire ./downloaded_images... rien aucune image ! J'ai cherché sur l'intégralité de mon disque dur du coup, pas de trace des images... Le scrape a pourtant pris 9h ! C'est ptet l'erreur pour le width de l'image que je viens de voir dans le fichier.... mais même avec 600 ça change rien faut il mettre une taille pour la hauteur aussi ? Je précise au cas où que je suis derrière un VPN si ça pose problème pour screenscraper La conf : LAST_USE] $PathRom =C:\Temp\Prov\recalboxroms\gb\ $PathRomSub =./ $PathNew =C:\Temp\Prov\recalboxroms\gb\gamelist.xml $PathImage =C:\Temp\Prov\recalboxroms\gb\downloaded_images $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang =0409 $HauteurImage = $LargeurImage =6800 -
En toute logique le VPN ne pose pas de problème, Je sais qu'il y a eu un problème sur le redimensionnement à la volé mais normalement corrigé par Marblemad. Par contre, 6800 de largeur !!! c'est un peu beaucoup non ? Du coup, c'est peut Etre ça qu'il n'arrive pas à faire ( la game boy possède une résolution de 160×144 et tu demande un interpolation en 6800x6120 !! (tu compte mettre ça sur une recalbox ???) ) si tu veux la taille d'origine, tu ne met rien, si tu veux une taille définis, précise les 2 maximums (mais sans dépasser les bornes du raisonnable
sachant qu'il va essayer de maximiser l'image en redimensionnant pour que la résolution soit la plus grande possible sans depasser les 2 bornes Au pire, s'il y a un problème, télécharge la dernière version et tu colle un "verbose=2" dans le fichier ini. ça va considérablement augmenter ton temps de scrape, mais tu n'est pas obliger de le faire complet (juste quelques roms) et tu auras des traces plus que complètes... Enfin, en toute logique, tes images sont ici : C:\Temp\Prov\recalboxroms\gb\downloaded_images Et dernier truc : 9H !!!!!!! mais WTF :S je ne sais pas si c'est ton VPN qui ralentis énormement le scrape ou si c'est la résolution un poil abusée mais c'est pas normal 9h Je scrape entre 1000 et 2000 Roms en entre 1 et 2h grand max.... Et mes roms sont sur mon nas... Pas en local :S -
Bon j'ai trouvé c'est un bug coquinou
$PathImage =C:\Temp\Prov\recalboxroms\gb\downloaded_images il faut un\ à la fin sinon les images sont copiées à la racine en tant que downloaded_imagesnomdujeu.png ! Les 9h je pense que c'était à cause du 6800 avec 800 ça a l'air beaucoup plus rapide. Par contre il me télécharge les screenshots alors que j'aimerais les covers comment faire pour avoir celles ci ? J'ai essayé d'inverser le contenut de ELEMENT_11 et ELEMENT_13 dans la conf Recalbox V4 mais ça ne semble pas avoir d'effet -
Cool
merci tu vas devenir déb****r officiel si tu continue Je vais corriger ça rapidement. Sinon pour les covers, je te renvois sur le wiki : Changer le type d'image Inverser juste le 11 et 13 ne doit pas suffire, il faut comprendre qu'il les prend dans l'ordre, donc en gros ce que tu as fait : Il cherche une cover eu, s'il n'y en a pas, il cherche une cover fr, s'il n'y en a pas, il prend un screenshot. pour augmenter tes chances d'avoir une covers, inverse la 11 et la 15 comme ça il cherchera aussi les covers us et jp avant le screenshot... -
Ahahah ouais enfin ça va me rappeler trop le boulot après
Cool merci et désolé je n'avais pas vu qu'il y avait un wiki. Une évolution qui serait sympa pour la récupération des images ce serait un "Keep aspect ratio" on peut pour l'instant spécifier uniquement le width ou le heigth mais dans ce cas seul la dimension correspondante de l'image est resizée, et du coup c'est légèrement déformé... Par ailleurs si on ne spécifie rien pour ces deux paramètres, est ce que l'image est récupérée dans la taille originale sur Screenscraper ? parce qu'en soit pour la plupart elles sont dans une très bonne qualité... -
Normalement, il garde le ratio ? Les dimensions indiquées sont des "maxi" et il est censé adapter la taille pour maximiser l'image sans la déformer meme si tu ne précise qu'un seul maxi (il faut que je check ça :S) concernant la taille original, tout dépend de ce que tu récupère. Si tu ne précise rien, c'est la résolution de l'image brut qui est sur screenscraper. Certain screenshot par exemple sont dans leur taille d'origine (ex : la gameboy, les screen, pour la plupart sont en 160x144) Par contre, les covers ou box 2D/3D ont des résolutions très très correct.
-
Oui carrément pour les covers
En tout cas je te confirme que le ratio pour les screenshot est effectivement concerné maintenant que j'y pense mais apparemment pas pour les covers 2D qui semble conserver leur hauteur d'origine quand on ne spécifie que la width -
Bonjour, déjà un grand merci pour ton travail Screech, ton scraper est super efficace et très facile d'utilisation, je n'utilise presque que lui à présent
Je me permets toutefois de faire remonter quelques petites constatations et idées : 1- J'ai l'impression que le scraping est moins efficace sur les grosses liste de jeux : Par exemple pour une cinquantaine de jeux il me faut approximativement entre 2 et 5 minutes pour scraper le tout, mais pour une liste de 250 jeux la première moitié du scraping est rapide mais la seconde moitié l'est beaucoup moins et il me faut environs 50 minutes pour terminer le travail. Ça ne semble donc pas proportionnel à la quantité de jeux, ce n'est peut-être qu'une impression mais je tenais à en faire part. 2- Les informations sur les dimensions d'images souhaités ne restent pas enregistré d'une fois à l'autre, alors que les informations sur les chemins des dossiers et fichiers eux le reste, ça pourrait être intéressant de faire de même pour les dimensions. 3- C'est une simple suggestion, mais l'ajout d'une fonctionnalité permettant de rechercher et d'ajouter le scrape d'un jeu manuellement pourrais avoir une grande utilité, par exemple pour un jeu non détecté ou pour une traduction non officielle qui ne serait pas prise en charge autrement. Je suis conscients que ça ne présente pas une grande utilité en général et que ce n'est probablement pas simple à mettre en place, encore une fois c'est une simple suggestion. -
@Voljega Je vais voir avec @Marblemad pour le redimensionnement (c'est screenscraper qui le fait ^^) @Vectorus (déjà merci ^^) 1- Effectivement, plus il y a de roms plus sa ralentis sur la fin, il faudrait que je vois comment optimiser ça
Mais à priori, c'est un problème d'écriture de fichier XML qui peine un peut (en tout cas les fonctions que j'utilise) à écrire les chose au bon endroit quand il y a trop de chose 2- Je corrigerais ça ce WE 3- c'est une fonction prévus, mais pas dans screenscraper ce sera integré un jour, (quand j'aurais le temps) dans Universal XML Editor -
Effectivement ça se comprend, c'est vrai que ça fait beaucoup d'informations pour un seul fichier. Super pour la correction ! Oui pour la fonction recherche c'est vrai que ça conviendra mieux à Universal XML Editor
-
Pas totalement lié mais en essayant de récupérer les covers Vectrex ça ne me renvoie que des screenshots. Si je vais voir sur ScreenScraper j'aperçois que les textures sont toutes présentes mais que les box 2d et 3d ne sont pas "auto-générées" Euh y'a moyen de les autogénérer ?
-
Je fais la demande à Marblemad
(Par contre il est pas mal occupé je ne sais pas s'il pourra le faire rapidement.)
