[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[clad-strife]

Bonjour, Tout d'abord merci pour le boulot accompli! C'est assez monstrueux. J'ai cependant quelques questions : J'ai réussi à scrapper quelques sets, et il trouve des images de jeux au lieu des jaquettes, je ne sais pas si j'ai loupé un truc lors de la configuration? Bon ce n'est pas encore trop dérangent mais on sait jamais.   Sinon j'ai un autre soucis, hier j'ai scrapper plusieurs sets de roms (remis en .zip et kill emultionstation au préalable), le scrap se déroule bien, il trouve quasiment toutes les roms, les images sont bien dans le fichier download et le fichier gamelist est bien édité. Mais au redémarrage du raspberi il n'affiche rien, les listes sont bien mise de façon à ce que les images doivent apparaître, mais pas d'image, et ça me le fait pour la Master System, Game Gear, Nec PC Engine et FBA Liberto. Du coup je ne comprends car j'ai réussi à scrapper deux sets auparavant sans soucis.   Ensuite autres questions, il arrivent parfois que le scrap mette des screens des jeux en double ou en triple et quand je consulte mon raspberi il affiche plusieurs jeux alors qu'il n'y en à qu'un dans les fichiers (je ne sais pas si j'ai bien réussi à me faire comprendre), en gros il crée des doubles alors qu'a la base il n'y en à pas (les set on été trié par mes soins).   Et pour les Set FBA et Mame (en set no intro) quel console je doit choisir?   Merci d'avance pour votre aide.

[screech]

Hello @Clad-strafe Alors, si tu utilise la config par défaut, il dl en priorité les Screenshot, puis s'il n'en trouve pas les boîtiers 2D. Si tu veux modifier cela tu peux modifier le fichier config.ini -> voir le Wiki Concernant ton problème d'image, es-tu sur que le kill emulationstation a bien fonctionné ? (normalement tu dois avoir un écran noir sur le pi) Pour vérifier, redémarre ton pi et regarde le fichier gamelist.xml correspondant, s'il est vide ou contient d'ancienne donnée, c'est que le kill n'avait pas bien fonctionné. Si tout te semble correct, vérifie bien les chemins du fichier xml (en standard : ./downloaded_images/xxxx.jpg ou .png) A priori, on m'a remonté un problème avec l'affichage des png sur la recalbox, il faut que je check ça. au pire, je forcerais le jpg dans la prochaine version. concernant les images en doublons/triplons, as tu changé le nom de la rom ? Normalement, il ne retelecharge pas une image si elle existe, mais si le nom de la rom change il retelechargera l'image. Exemple :

mario.zip -> ./downloaded_images/mario-image.jpg

si tu renomme :

supermariobros.zip -> ./downloaded_images/supermariobros-image.jpg

mais il ne supprimera pas l'ancien mario-image.jpg Sinon, attention aussi au mode "append" (ajouter de nouvelle rom). Si tu avais mario.zip, que tu as fait un scrape, puis que tu renomme en supermariobros.zip et que tu rescrapes avec la fonction "ajouter de nouvelle rom" il ne supprimera pas mario.zip... Tu auras donc les 2 qui apparaîtrons (vue qu'ils seront tous les 2 dans le fichier xml) mais qu'un seul qui fonctionnera. (Je sais pas si je suis clair ^^) Enfin, pour FBA ou Mame, tu peux choisir le système Mame. (D’ailleurs, si tu utilise la dernière version, il le fera tous seul et en plus tu pourras profiter de l'autoconfig ) N’hésite pas à me tenir au courant si tu as des problèmes

[clad-strife]

Salut, Je te remercie pour les conseils, je vais allez tester ça (je pense donner mon retour dans la soirée). Et d'après ce que tu me dis il y à peut être eu un conflit avec d'ancien scrap, je vais tout enlever et refaire un scrap de zéro. En général pour le kill emultionstation j'attend effectivement que l'écran soit noir avant de commencer. Pour les doubles ou triples, non je n'ai pas changer les noms des roms justement, mais est ce que ça pouvait provenir d'un ancien scrap ce problème?   Dans tous les cas je re test tout ça et je te tiens au courant, merci pour ton aide!

[voljega]

Hmmm ES n'affiche un nom de jeu dans la liste que si le fichier correspondant au scrape existe réellement. Donc dans le cas ou mario.zip est renommé en supermariobros.zip, le scrape de mario.zip n'apparaitra plus même si il est encore présent dans le fichier gamelist.xml. Plus vraisemblablement : - soit copie du fichier et renommage plutôt que renommage simple - soit set pas si bien nettoyé que ça - soit erreur sur le scrape d'un jeu identifié à un autre et donc le scrape récupéré n'est pas celui du jeu... bon ça ne m'est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

[screech]

– soit erreur sur le scrape d’un jeu identifié à un autre et donc le scrape récupéré n’est pas celui du jeu… bon ça ne m’est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

C'est normalement impossible avec UXS Justement c'est une des forces qui fait aussi sont défaut. Avec Screenscraper -> 1 Rom = 1 hash = 1 jeu. Par contre, tu as peut être plusieurs versions d'un même jeu (version Us, Eu, Jp, World, Alpha, Beta, Proto, Rev 1,2,3,....) Dans ce cas la, 1 jeu = X Hash = X roms... ça c'est possible (Je fais ma propre pub mais pour nettoyer tes Roms Set console, tu peux utiliser : Universal Rom Cleaner    (Par contre je viens d'apprendre que les fichiers sont prioritaire sur le XML pour l'affichage des roms ^^ je pensais l'inverse Merci @Voljega )

[acris]

Salut @screech j'ai testé la nouvelle version et impossible de cocher la 2nd passe. Par contre maintenant neogeo au 1er scrap il trouve 141/154 comment ajouter les hash manquants sur screenscraper ?

b2b.zip|338538FB
garoup.zip|1165C570
joyjoy.zip|CB81D2E1
kof2001.zip|4E477850
kof2002.zip|0995C14A
lbowling.zip|15DC8F15
lhcdb.zip|18CF09A4
ridhero.zip|1155AD28
shocktr2.zip|4DC34BCD
sonicwi.zip|2C8FFD52
totcarib.zip|32BBBD32
trally.zip|1EAB5C4D

edit : c est voulu de laisser l icone de screenscraper apparaitre près de l horloge ?

[clad-strife]

Alors je viens de réessayer, pour la Game Gear ça à fonctionné, les images n’apparaissait pas au début et après elles sont apparu, au bout de quelques minutes. Pour les doublons j'ai trouvé, effectivement j'ai laissé les versions jap, et le scrap ne prend pas les nom jap, il les mets directement au même nom de jeu, je comprend maintenant les doubles voir les triples, je sais ce qu'il me reste à faire ^^. Par contre j'ai tenté de modifier le fichier config (UXS-Config dans le dossier de XML c'est bien ça?) je n'ai pas réussi à le faire, j'ai peut être mal réalisé la manip, enfin après ce n'est pas encore trop grave tant que j'ai au moins une image par jeu. Merci pour les conseils.   Edit : Merci pour le universal roms cleaner, je vais essayer ça demain. Par contre j'ai de nouveau le problème des images qui ne s'affiche pas alors que le scrap c'est bien déroulé. J'ai effectuer le scrap Game Gear, redémarré le pi et la ok les images apparaissent. Je réutilise la commande kill emulationstation, je fait trois scrap, celui de fba_libretro (qui trouve quasiment tout), celui de mame (qui bizarrement beug) et celui de la megadrive. Au redémarrage les images megadrive s'affiche sans problème, mais pour fba_libretro rien du tout, le fichier gamelist est bien édité, les screens sont bien dans le dossier et même après plusieurs redémarrage il n'y à toujours rien de visible.

[screech]

@Acris Oui effectivement, le menu 2 Passes est toujours la, il faut que je le retire, il ne sert plus à rien (en fait, maintenant il scrape automatiquement une 2eme fois uniquement les roms qu'il ne trouve pas la première fois). Je pensais avoir retiré le menu, je le ferais sur la prochaine version Pour le logo à coté de l'heure, oui c'est normal, mais je peux le retirer si vous trouvez ça gênant @Clad-strife dit moi ce que tu veux comme image à la place des screenshot, et je t'aiderais à configurer le fichier ini Quand tu dis que celui de mame beug, tu peux m'en dire un peu plus ? (il ne trouve rien ? te met un message d'erreur ?) Enfin pour fba-libretoro et tes images : Ouvre le fichier gamelist.xml qui est dans le répertoire FBA et regarde la première ligne qui commence par

<image>

Tu dois avoir quelque chose du genre :

<image>./downloaded_images/NOMDELAROM-image.png</image>

Vérifie qu'il n'y a pas de "/" en trop ou manquant et qu'il ne manque pas le "." au début. Puis regarde dans le répertoire "downloaded_images" si l'image est bien présente (NOMDELAROM-image.png ou .jpg) Si c'est le cas, essaye d'ouvrir l'image pour voir si elle s'ouvre bien et qu'elle est correcte. Si tout ça est OK, je n'ai pas la moindre idée pourquoi ça marche des fois et pas d'autre. Peut être un problème avec les .png, je vais voir à forcer en .jpg si c'est le cas.

[supernature2k]

Hi All, Merci @screech pour ton soft, J'ai un excellent taux de réussite sur les consoles "pas trop vieilles" En revanche quand ce ne sont pas des zips ou des zips qui ne lui plaisent pas, le taux tombe à zéro. Le plus gros problème reste les roms "mame" alors que imo, ce sont les plus simple à scrapper en se basant sur le nom qui est toujours le même. Aurais-tu moyen de baser le scrap mame (et uniquement lui) sur le nom au lieu du hash? Pour le problème de @Clad-strife, j'ai eu ça aussi. En fait il y a du avoir un bug lors du merge des xml et il manquait le <gamelist> au début du xml final. Edit: j'oubliais, pourquoi tes scraps sont en png? imposé par screenscraper.fr? Les jpg de thegames.db prennent 10 fois moins de place

[voljega]

et sont 10 fois plus moches et pixellisés d'ailleurs j'utilise un thème 'big picture' (avec les images en grand) et je suis en train de refaire une récupération de toutes les images sur screenscraper car celles de thegamesdb sont absolument dégueulasses. et même celles de screenscraper ne sont pas toujours d'une qualité suffisante, en dessous de 600*600 ça pixelise de façon +/- visible selon les systèmes

[screech]

@Supernature2k En fait, je suis dépendant du contenu du site Screenscraper et de son fonctionnement. Pour le moment, le site screenscraper ne permet de scraper que depuis le hash d'un fichier. Il faut que ce hash soit référencé sur le site. Et au jour d'aujourd'hui, seul les roms provenant de grosse distribution (style no-intro et donc zippées) sont référencées. Donc si tu as une rom un peu exotique ou dans un format zip qui n'est pas l'original du romset (ce qui modifie le hash) ta rom ne sera pas trouvée. L'avantage, c'est que si tu as une rom d'un romset connue, il l'a trouve sans erreur. C'est un peu à double tranchant Pour le problème de balise "gamelist" qui n'existe pas au début, ça peut se produire si tu demande un ajout de rom sur un fichier xml vide ou un fichier xml dont le format est un peu différent (genre il manque l’entête du fichier "xml version="1.0" encoding="UTF-8"") Enfin, je viens de recompiler une nouvelle version v1.1.1.4 avec un nouveau champ dans les profiles : $ExtImage qui permet de préciser :

• Rien = comme l'original du site
• jpg = en jpg
• png = en png

Comme ça vous avez le choix. Concernant le poids des png, normalement, il est plus léger que les jpg ^^ Par contre la résolution peut jouer. (Si tu scrape un fanart en 1920*1080, il vaut mieux que tu lui demande un redimensionnement Tu peux changer la résolutions dans la configuration, pour Recalbox, je te conseil un 400x400 ce qui est largement suffisant pour les screenshot Donc en gros, maintenant, c'est toi qui choisi le poids et la qualité des images du scrape @Voljega effectivement certaines images peuvent avoir des résolutions pas terrible. Mais il faut savoir que les résolutions d'origine joue pas mal pour m’être pas mal occupé de la game gear, un screenshot dans la résolution native de la console fait 160x144 ^^ donc même en 400x400 ça pixou un peu ^^

[supernature2k]

Excellent! Merci beaucoup, je test ça dès que je peux.

[voljega]

@Screech oui je parlais uniquement pour les covers. pour les screenshots qui sont bien évidemment pixellisés à la base, le problème ne se pose pas. !

[screech]

Ah oui, les covers ^^ pour en avoir fait pas mal, la grosse difficultés réside dans le fait de trouver une source sur internet avec des images pas trop dégueux (quand on a pas la chance d'avoir une collection de vraie boite pour les scanner ^^) Et je dois dire que souvent les back cover sont horrible... C'est hyper dur à trouver... Les fronts un peu plus facile, mais pas toujours au top ^^ M'enfin on fait au mieux ^^

[voljega]

Oui même les fronts même sur des systèmes connus et des jeux connus, il est parfois impossible de trouver une pochette en bonne qualité, ne serait que la résolution et je ne parle même des couleurs ou de la luminosité... alors les backs j'imagine même pas ^^

[clad-strife]

Bonjour, Alors pour les images je vourdais les covers des jeux en 2D quand c'est possible sinon un screenshot le cas échéant. Pour les jeux Mame, ils ne trouvent rien et au moment de fusionné les fichier xml il me dit qu'il ne peut pas (il faut que je réessaie et que je note le message exact). Pour les scrap qui n’apparaissent pas j'ai été voir dans les gamelist et effectivement il y à un soucis, j'ai comparé aux autres qui on fonctionné et j'ai ça :  <image>/recalbox/share/roms/fba_libretro/downloaded-images/gtmr-image.png</image> <rating>0.9</rating> au lieu d'un** <image>./downloaded_images/NOMDELAROM-image.png</image>,** je ne comprend pas trop pourquoi, j'ai fait 2/3 scrap d'affilé, et certain on fonctionné d'autre pas (Megadrive ok, mais FBA Liberetro et Nec Pc même problème). Le <gamelist> par contre apparaît bien en début de fichier.   Je retente un scrap après je vous tiens au courant. Merci pour votre aide.   Edit : je n'ai pas toucher au chemin des roms dans le fichier xml dans la configuration de XML Scrapeur Et j'ai toujours un message d'erreur quand je sélectionne recalbox V.4 : "Les chemins des ROMS pour la configuration automatique n'est pas accessible".

[voljega]

quand ES fait joujou et replace le path relatif (./downloaded_images) par le path complet (/recalbox/share/roms/fba_libretro/downloaded-images/) ça veut dire qu'il n'a pas trouvé ton fichier d'image si tu regardes dans le répertoire elle ne doit pas exister peut être qu'il ne l'a pas téléchargé ? même chose pour les paths des fichiers de roms

[screech]

Première chose que je vois, effectivement ES a remplacé le path relatif parce qu'il ne trouvait pas l'image. Et concrètement je pense que c'est à cause de ça : downloaded**-**images ... Il y a un "-" (tiret) au lieu d'un "_" (souligné) !!! Du coup, je pense que c'est dans la config qu'il y a eu un problème tu as du mettre ./downloaded-images/ au lieu de _./downloaded_images/ _dans le chemins de substitution des images Pour régler tout ça facilement : Essaye de te connecter sur la recalbox via le voisinage réseau de ton PC pour voir par ou ça passe normalement ça devrait être : _\RECALBOX\User data\roms_ (puis après un répertoire par système ) Si ce n'est pas le cas, note le chemin complet et met le dans le fichier ini dans la variable $PATHAUTOCONF_PathRom Si par exemple le chemin affiché est _\LA_RECALBOX_DE_TONTON\User data\roms _Tu mets :

[ScreenScraper-Recalbox v4] $PATHAUTOCONF_PathRom =\LA_RECALBOX_DE_TONTON\User data\roms

Du coup, tu accéderas à l'autoconfig et tu n'aura plus à t’embêter avec le chemins tout se configurera tout seul simplement en sélectionnant le système dans le menu "Configuration Automatique" (en plus tu n'auras plus le message d'erreur au démarrage ^^). (Pour info pour les autres, ça marche aussi si vous avez vos roms sur une clefs USB. Par exemple le chemin de vos Roms est "G:\roms", G: est la lettre de votre clef USB, vous pouvez mettre ce path dans le champs **$PATHAUTOCONF_PathRom **du fichier config.ini) Il faut bien sur avoir la dernière version de UXS qui gère l'autoconf Pour les Images Il te suffit de remplacer les lignes $ELEMENT_11 à $ELEMENT_15 par les lignes suivantes dans le profil [ScreenScraper-Recalbox v4] :

$ELEMENT_11 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image' $ELEMENT_12 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image' $ELEMENT_13 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_us|path:image' $ELEMENT_14 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image' $ELEMENT_15 = 'image|path:image|medias/media_screenshot|path:image'

Sinon, Fait ta config sur les roms fba par exemple, enregistre la config, ferme le soft, et dépose ton fichier config.ini ici je le modifierais et te le renverrais correctement modifié pour que ça marche

[clad-strife]

Bonsoir, Alors oui effectivement je ne sais pas ce qui c'est passé mais c'était bien ça XML été mal configuré pour la direction des fichiers, la ça passe. Pour le chemin du fichier autoconfig c'est bon je l'ai modifier le message n’apparaît plus. (j'ai juste modfier User Data par Share) Pour le fichier je veux bien que tu le modifie, je ne suis pas bien à l'aise quand il faut modifier plusieurs ligne.   En tout cas et je me répète encore merci pour votre aide! Ça avance beaucoup plus vite du coup pour le scrap ^^.

[screech]

@Clad-Strife Première chose, je te conseil de télécharger la dernière version ici : v1.1.1.4 Ensuite, tu mets le fichier config que je te mets en PJ. Enfin, tu lance le bouzin A partir de ce moment la, tu clic sur "Edition" / "Configuration Automatique" / "FBA_Libretro" Et tu scrape Si tu veux scraper un autre système, "Edition" / "Configuration Automatique" / "LeSystemeQueTuVeux" Et tu scrape Plus besoin de s’embêter avec les chemins, la liste de système de l'auto config s'adapte au répertoire de ta recalbox et configure tout seul les chemins J'ai aussi modifié le fichier Ini pour mettre en priorité les boîtiers 2D Dit moi si tout marche bien