[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[acris]

Salut @Screech, Alors j'ai lancé le scrap de neogeo (154 roms) avec la nouvelle version. 1er passage : 2/154 2nd passage : 141/154 sur quoi neogeo se base pour le scrap ? neogeo AES ? MVS ? Mame ? car en plus je lui demande de prendre les boites et trouvent que les screenshots.

$ELEMENT_11 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
$ELEMENT_12 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
$ELEMENT_13 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
$ELEMENT_14 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
$ELEMENT_15 		= 'image|path:image|medias/media_screenshot|path:image'

edit : scrap de mame en 2 passages 1er passage : 2554/2554 roms il a tout trouvé du 1er coup. mais il lance le 2nd passage quand même.

[screech]

@Acris Alors, sur quoi se base le scrape neogeo : J'ai (arbitrairement) basée le répertoire neogeo sur MVS (peut etre à tord) Tu peux checker la table dans le fichier texte "systemlist.txt" qui est dans le répertoire ressources (la première colonne c'est le nom du répertoire, la deuxième, le nom du system sélectionné) Du coup les boites, c'est que sur l'AES, mais il faut vraiment des dumps AES. Si tu veux récupérer les boite AES alors que tes roms viennent d'un dump MVS ce n'est pas possible aujourd'hui. Sinon, jai amélioré le moteur de scrape. En effet, grâce à ton retour, j'ai constaté que lorsqu'un système est précisé, il ne scrape QUE pour ce système. Ce qui peut poser problème pour l'arcade avec des répertoires contenant du CPS1,2,3, du neogeo, du cave, et plein d'autre trucs. Du coup, maintenant le scraper cherche d'abord pour le système sélectionné (ou pré sélectionne) puis s'il ne trouve pas, redemande sans système. ça devrait améliorer le taux de roms trouvé du premier coup. J'ai demandé à Marblemad son avis, mais il est pas dispo en ce moment donc on verra ce qu'il en dit à son retour... La c'est plus du coté du Screenscraper que du mien qu'il faut agir ^^   La version 1.1.1.2 qui marche bien ^^

[voljega]

sinon j'ai constaté les chose suivantes sur les pochettes auto-générées de screenscraper : - les pochettes GameBoy et VirtualBoy sont déformées, le bon ratio est plutôt environ 1/1 (quelque chose comme 513px/513px pour la GameBoy) - les pochettes GameGear sont mal coupées, il manque quelques pixels (entre 5 et 20 je dirais) sur la gauche de la plupart des pochettes du système et peut-être un poil sur le haut (pas sur) - les pochettes GameBoy et PCEngine sont floues, manquent de définition

[screech]

Je ne peux répondre que pour la gamegear (parce que c'est moi qui les ai faite pour la majeur partie ) J'ai respecté le gabarit fournie, mais il est possible que le générateur n'utilise pas correctement le gabarit. J'en parlerais à Marblemad à son retour de NY

[reaver-seven]

<del>Salut, alors tout fonctionne presque a merveille pour moi, je me tape juste une ERROR5 lors de l'écriture du gamelist.xml de la neo geo et de la nes.</del> <del>La nes est pourtant issue du même romset no intro (archive romset  2016 no intro fixed)</del> <del>J'ai essayé de trifouiller, et même de le créer moi même, ça veut pô. Une petite idée?</del> RESOLU, il manquait un / dans le chemin, du coup il trouvait pas les images. Pour les roms nes, j'ai re-DL un romset no intro et le problème a été résolu, pour les roms neo geo, ce n'est pas résolu mais je m'en fiche, il n'y a que 12 jeux, je vais les ajouter manuellement.   Pour la PSX, il n'y a pas une astuce plus pratique que de le faire manuellement? J'en ai pas beaucoup, mais je préfère demander

[screech]

Hello, j'ai fait une petite correction pour l'erreur 5 : En fait, il trouvait bien des fichiers zip, mais aucune rom trouvée sur screenscraper, et il aimait pas ça ^^ pour les jeux PSX, malheureusement pas d'astuce hormis trouver un set ou les roms sont zipées, scrapper, les dezipper, puis modifier le fichier xml avec un rechercher/remplacer ".zip" par ."bin" (ou ".cue" en fonction) c'est tout ce que j'ai a te proposer. Pour les neogeo, même la dernière version ne te trouve rien ?

[clad-strife]

Bonjour, Tout d'abord merci pour le boulot accompli! C'est assez monstrueux. J'ai cependant quelques questions : J'ai réussi à scrapper quelques sets, et il trouve des images de jeux au lieu des jaquettes, je ne sais pas si j'ai loupé un truc lors de la configuration? Bon ce n'est pas encore trop dérangent mais on sait jamais.   Sinon j'ai un autre soucis, hier j'ai scrapper plusieurs sets de roms (remis en .zip et kill emultionstation au préalable), le scrap se déroule bien, il trouve quasiment toutes les roms, les images sont bien dans le fichier download et le fichier gamelist est bien édité. Mais au redémarrage du raspberi il n'affiche rien, les listes sont bien mise de façon à ce que les images doivent apparaître, mais pas d'image, et ça me le fait pour la Master System, Game Gear, Nec PC Engine et FBA Liberto. Du coup je ne comprends car j'ai réussi à scrapper deux sets auparavant sans soucis.   Ensuite autres questions, il arrivent parfois que le scrap mette des screens des jeux en double ou en triple et quand je consulte mon raspberi il affiche plusieurs jeux alors qu'il n'y en à qu'un dans les fichiers (je ne sais pas si j'ai bien réussi à me faire comprendre), en gros il crée des doubles alors qu'a la base il n'y en à pas (les set on été trié par mes soins).   Et pour les Set FBA et Mame (en set no intro) quel console je doit choisir?   Merci d'avance pour votre aide.

[screech]

Hello @Clad-strafe Alors, si tu utilise la config par défaut, il dl en priorité les Screenshot, puis s'il n'en trouve pas les boîtiers 2D. Si tu veux modifier cela tu peux modifier le fichier config.ini -> voir le Wiki Concernant ton problème d'image, es-tu sur que le kill emulationstation a bien fonctionné ? (normalement tu dois avoir un écran noir sur le pi) Pour vérifier, redémarre ton pi et regarde le fichier gamelist.xml correspondant, s'il est vide ou contient d'ancienne donnée, c'est que le kill n'avait pas bien fonctionné. Si tout te semble correct, vérifie bien les chemins du fichier xml (en standard : ./downloaded_images/xxxx.jpg ou .png) A priori, on m'a remonté un problème avec l'affichage des png sur la recalbox, il faut que je check ça. au pire, je forcerais le jpg dans la prochaine version. concernant les images en doublons/triplons, as tu changé le nom de la rom ? Normalement, il ne retelecharge pas une image si elle existe, mais si le nom de la rom change il retelechargera l'image. Exemple :

mario.zip -> ./downloaded_images/mario-image.jpg

si tu renomme :

supermariobros.zip -> ./downloaded_images/supermariobros-image.jpg

mais il ne supprimera pas l'ancien mario-image.jpg Sinon, attention aussi au mode "append" (ajouter de nouvelle rom). Si tu avais mario.zip, que tu as fait un scrape, puis que tu renomme en supermariobros.zip et que tu rescrapes avec la fonction "ajouter de nouvelle rom" il ne supprimera pas mario.zip... Tu auras donc les 2 qui apparaîtrons (vue qu'ils seront tous les 2 dans le fichier xml) mais qu'un seul qui fonctionnera. (Je sais pas si je suis clair ^^) Enfin, pour FBA ou Mame, tu peux choisir le système Mame. (D’ailleurs, si tu utilise la dernière version, il le fera tous seul et en plus tu pourras profiter de l'autoconfig ) N’hésite pas à me tenir au courant si tu as des problèmes

[clad-strife]

Salut, Je te remercie pour les conseils, je vais allez tester ça (je pense donner mon retour dans la soirée). Et d'après ce que tu me dis il y à peut être eu un conflit avec d'ancien scrap, je vais tout enlever et refaire un scrap de zéro. En général pour le kill emultionstation j'attend effectivement que l'écran soit noir avant de commencer. Pour les doubles ou triples, non je n'ai pas changer les noms des roms justement, mais est ce que ça pouvait provenir d'un ancien scrap ce problème?   Dans tous les cas je re test tout ça et je te tiens au courant, merci pour ton aide!

[voljega]

Hmmm ES n'affiche un nom de jeu dans la liste que si le fichier correspondant au scrape existe réellement. Donc dans le cas ou mario.zip est renommé en supermariobros.zip, le scrape de mario.zip n'apparaitra plus même si il est encore présent dans le fichier gamelist.xml. Plus vraisemblablement : - soit copie du fichier et renommage plutôt que renommage simple - soit set pas si bien nettoyé que ça - soit erreur sur le scrape d'un jeu identifié à un autre et donc le scrape récupéré n'est pas celui du jeu... bon ça ne m'est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

[screech]

– soit erreur sur le scrape d’un jeu identifié à un autre et donc le scrape récupéré n’est pas celui du jeu… bon ça ne m’est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

C'est normalement impossible avec UXS Justement c'est une des forces qui fait aussi sont défaut. Avec Screenscraper -> 1 Rom = 1 hash = 1 jeu. Par contre, tu as peut être plusieurs versions d'un même jeu (version Us, Eu, Jp, World, Alpha, Beta, Proto, Rev 1,2,3,....) Dans ce cas la, 1 jeu = X Hash = X roms... ça c'est possible (Je fais ma propre pub mais pour nettoyer tes Roms Set console, tu peux utiliser : Universal Rom Cleaner    (Par contre je viens d'apprendre que les fichiers sont prioritaire sur le XML pour l'affichage des roms ^^ je pensais l'inverse Merci @Voljega )

[acris]

Salut @screech j'ai testé la nouvelle version et impossible de cocher la 2nd passe. Par contre maintenant neogeo au 1er scrap il trouve 141/154 comment ajouter les hash manquants sur screenscraper ?

b2b.zip|338538FB
garoup.zip|1165C570
joyjoy.zip|CB81D2E1
kof2001.zip|4E477850
kof2002.zip|0995C14A
lbowling.zip|15DC8F15
lhcdb.zip|18CF09A4
ridhero.zip|1155AD28
shocktr2.zip|4DC34BCD
sonicwi.zip|2C8FFD52
totcarib.zip|32BBBD32
trally.zip|1EAB5C4D

edit : c est voulu de laisser l icone de screenscraper apparaitre près de l horloge ?

[clad-strife]

Alors je viens de réessayer, pour la Game Gear ça à fonctionné, les images n’apparaissait pas au début et après elles sont apparu, au bout de quelques minutes. Pour les doublons j'ai trouvé, effectivement j'ai laissé les versions jap, et le scrap ne prend pas les nom jap, il les mets directement au même nom de jeu, je comprend maintenant les doubles voir les triples, je sais ce qu'il me reste à faire ^^. Par contre j'ai tenté de modifier le fichier config (UXS-Config dans le dossier de XML c'est bien ça?) je n'ai pas réussi à le faire, j'ai peut être mal réalisé la manip, enfin après ce n'est pas encore trop grave tant que j'ai au moins une image par jeu. Merci pour les conseils.   Edit : Merci pour le universal roms cleaner, je vais essayer ça demain. Par contre j'ai de nouveau le problème des images qui ne s'affiche pas alors que le scrap c'est bien déroulé. J'ai effectuer le scrap Game Gear, redémarré le pi et la ok les images apparaissent. Je réutilise la commande kill emulationstation, je fait trois scrap, celui de fba_libretro (qui trouve quasiment tout), celui de mame (qui bizarrement beug) et celui de la megadrive. Au redémarrage les images megadrive s'affiche sans problème, mais pour fba_libretro rien du tout, le fichier gamelist est bien édité, les screens sont bien dans le dossier et même après plusieurs redémarrage il n'y à toujours rien de visible.

[screech]

@Acris Oui effectivement, le menu 2 Passes est toujours la, il faut que je le retire, il ne sert plus à rien (en fait, maintenant il scrape automatiquement une 2eme fois uniquement les roms qu'il ne trouve pas la première fois). Je pensais avoir retiré le menu, je le ferais sur la prochaine version Pour le logo à coté de l'heure, oui c'est normal, mais je peux le retirer si vous trouvez ça gênant @Clad-strife dit moi ce que tu veux comme image à la place des screenshot, et je t'aiderais à configurer le fichier ini Quand tu dis que celui de mame beug, tu peux m'en dire un peu plus ? (il ne trouve rien ? te met un message d'erreur ?) Enfin pour fba-libretoro et tes images : Ouvre le fichier gamelist.xml qui est dans le répertoire FBA et regarde la première ligne qui commence par

<image>

Tu dois avoir quelque chose du genre :

<image>./downloaded_images/NOMDELAROM-image.png</image>

Vérifie qu'il n'y a pas de "/" en trop ou manquant et qu'il ne manque pas le "." au début. Puis regarde dans le répertoire "downloaded_images" si l'image est bien présente (NOMDELAROM-image.png ou .jpg) Si c'est le cas, essaye d'ouvrir l'image pour voir si elle s'ouvre bien et qu'elle est correcte. Si tout ça est OK, je n'ai pas la moindre idée pourquoi ça marche des fois et pas d'autre. Peut être un problème avec les .png, je vais voir à forcer en .jpg si c'est le cas.

[supernature2k]

Hi All, Merci @screech pour ton soft, J'ai un excellent taux de réussite sur les consoles "pas trop vieilles" En revanche quand ce ne sont pas des zips ou des zips qui ne lui plaisent pas, le taux tombe à zéro. Le plus gros problème reste les roms "mame" alors que imo, ce sont les plus simple à scrapper en se basant sur le nom qui est toujours le même. Aurais-tu moyen de baser le scrap mame (et uniquement lui) sur le nom au lieu du hash? Pour le problème de @Clad-strife, j'ai eu ça aussi. En fait il y a du avoir un bug lors du merge des xml et il manquait le <gamelist> au début du xml final. Edit: j'oubliais, pourquoi tes scraps sont en png? imposé par screenscraper.fr? Les jpg de thegames.db prennent 10 fois moins de place

[voljega]

et sont 10 fois plus moches et pixellisés d'ailleurs j'utilise un thème 'big picture' (avec les images en grand) et je suis en train de refaire une récupération de toutes les images sur screenscraper car celles de thegamesdb sont absolument dégueulasses. et même celles de screenscraper ne sont pas toujours d'une qualité suffisante, en dessous de 600*600 ça pixelise de façon +/- visible selon les systèmes

[screech]

@Supernature2k En fait, je suis dépendant du contenu du site Screenscraper et de son fonctionnement. Pour le moment, le site screenscraper ne permet de scraper que depuis le hash d'un fichier. Il faut que ce hash soit référencé sur le site. Et au jour d'aujourd'hui, seul les roms provenant de grosse distribution (style no-intro et donc zippées) sont référencées. Donc si tu as une rom un peu exotique ou dans un format zip qui n'est pas l'original du romset (ce qui modifie le hash) ta rom ne sera pas trouvée. L'avantage, c'est que si tu as une rom d'un romset connue, il l'a trouve sans erreur. C'est un peu à double tranchant Pour le problème de balise "gamelist" qui n'existe pas au début, ça peut se produire si tu demande un ajout de rom sur un fichier xml vide ou un fichier xml dont le format est un peu différent (genre il manque l’entête du fichier "xml version="1.0" encoding="UTF-8"") Enfin, je viens de recompiler une nouvelle version v1.1.1.4 avec un nouveau champ dans les profiles : $ExtImage qui permet de préciser :

• Rien = comme l'original du site
• jpg = en jpg
• png = en png

Comme ça vous avez le choix. Concernant le poids des png, normalement, il est plus léger que les jpg ^^ Par contre la résolution peut jouer. (Si tu scrape un fanart en 1920*1080, il vaut mieux que tu lui demande un redimensionnement Tu peux changer la résolutions dans la configuration, pour Recalbox, je te conseil un 400x400 ce qui est largement suffisant pour les screenshot Donc en gros, maintenant, c'est toi qui choisi le poids et la qualité des images du scrape @Voljega effectivement certaines images peuvent avoir des résolutions pas terrible. Mais il faut savoir que les résolutions d'origine joue pas mal pour m’être pas mal occupé de la game gear, un screenshot dans la résolution native de la console fait 160x144 ^^ donc même en 400x400 ça pixou un peu ^^

[supernature2k]

Excellent! Merci beaucoup, je test ça dès que je peux.

[voljega]

@Screech oui je parlais uniquement pour les covers. pour les screenshots qui sont bien évidemment pixellisés à la base, le problème ne se pose pas. !

[screech]

Ah oui, les covers ^^ pour en avoir fait pas mal, la grosse difficultés réside dans le fait de trouver une source sur internet avec des images pas trop dégueux (quand on a pas la chance d'avoir une collection de vraie boite pour les scanner ^^) Et je dois dire que souvent les back cover sont horrible... C'est hyper dur à trouver... Les fronts un peu plus facile, mais pas toujours au top ^^ M'enfin on fait au mieux ^^