[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[screech]

@Acris En fait, tu as le message si ta recalbox n'est pas accessible via le reseau (avec des identifiants standards) Mais c'est corrigé, voir ci dessous Et voila une nouvelle version : Universal-XML-Scraper V1.1.1.0 Au menu plein de modifications encore pour rendre le soft plus stable et easy use

• Maintenant les messages d'erreurs sur les chemins n'apparaissent que si l'on lance le scrape (et qu'il y a un problème bien sur ;))
• J'ai ajouté un mode config auto : Si la Recalbox est accessible depuis le réseau, un nouveau menu "configuration automatique" apparaît avec la liste des répertoires de Roms de la recalbox, il suffit de sélectionner le système et il configure tout seul les chemins (il est bien sur encore possible de changer les chemins depuis le menu "configuration")
• J'ai ajouté une table de correspondance, en fonction du nom du répertoire contenant les Roms, il essaye d'identifier tout seul le système. Plus besoin de le choisir dans la liste (enfin si, uniquement s'il ne trouve pas de correspondance )

J'ai fait pas mal de tests, mais si certains pouvait faire des tests grandeur nature ce serait cool Merci aux beta testers, on se rapproche de plus en plus d'une version très stable...

[acris]

Coucou @Screech, merci pour les modifications cependant j ai toujours le message d'erreur que les chemins ne sont pas configurés car je ne scrappe pas vers ma recalbox mais à partir de ma clé usb et/ou mon pc

[screech]

@Acris Dans ce cas, il faut les configurer manuellement Si ta clef USB est E: Tu dois avoir tes roms dans E:\roms Voici donc les chemins qu'il faut que tu renseignes (par exemple pour la nes) : Chemin des roms a scraper : E:\roms\nes Chemin du fichier XML : E:\roms\nes\gamelist.xml Chemin des roms dans le fichier XML : ./ Chemin des images à télécharger : *E:\roms\nes\downloaded_images* Chemin des images dans le fichier XML : ./downloaded_images/ Aucune raison que cela ne fonctionne pas.... Si par contre tu parles du premier message qui dit "Le chemin des ROMs pour la configuration automatique n'est pas accessible", c'est normal, il ne s'agit que du module de configuration automatique qui n'arrive pas à trouver les roms sur ta recalbox via le réseau. Il doit d’ailleurs être grisé. Mais ça ne t’empêche pas de configurer manuellement. D'ailleur, si tu veux faire fonctionner la configuration automatique, tu peux changer dans le fichier config.ini :

[ScreenScraper-Recalbox v4]
$PATHAUTOCONF_PathRom =E:\roms\

avec E: étant la lettre de ta clef USB Du coup la config auto devrait fonctionner

[acris]

Salut @screech ça fonctionne pas de soucis de ce coté mais juste signaler que le message apparaissait toujours je m attends à ne plus le voir. Manquerait plus que tu nous développes un soft pour faire le tri par type pour l'arcade et le fichier missing.txt fonctionne aussi, y a un moyen simple d'ajouter les hash sur screenscraper ? : GAMEGEAR

G-LOC - Air Battle (USA, Europe).zip|DF718442
Madden 96 (USA, Europe).zip|831B8AE6
Madden NFL 95 (USA).zip|2BD51E6E
NBA Action Starring David Robinson (USA).zip|AE1A65BC
Paperboy 2 (USA, Europe).zip|FD3BD010
Poker Face Paul's Blackjack (USA).zip|01733534
Poker Face Paul's Gin (USA).zip|F7CDAE4E
Poker Face Paul's Poker (USA).zip|ECCB938F
Poker Face Paul's Solitaire (USA).zip|D04538A1
Spider-Man - X-Men - Arcade's Revenge (USA).zip|4B951472
Zool - Ninja of the 'Nth' Dimension (Europe).zip|00DF0566

edit : bizzare il ne trouve que 2 roms pour neogeo sur les 154 elements.... il charge un logo neogeo doré et me trouve que 2 roms si je prends l ancienne version que je choisis mame comme emulateur il me les trouves quasiment toutes.

4b2b.zip|338538FB
garoup.zip|1165C570
joyjoy.zip|CB81D2E1
kof2001.zip|4E477850
kof2002.zip|0995C14A
lbowling.zip|15DC8F15
lhcdb.zip|18CF09A4
neogeo.zip|2AB85224
ridhero.zip|1155AD28
shocktr2.zip|4DC34BCD
sonicwi.zip|2C8FFD52
totcarib.zip|32BBBD32
trally.zip|1EAB5C4D

[screech]

@Acris Je viens de pousser une nouvelle release sur Github : V1.1.1.1-beta Elle fait un second passage plus rapide après le premier scrape pour voir si il y a moyen de chopper des manquants Tu peux tester et me dire si c'est mieux avec la Neogeo ? (N'oublie pas de cocher le menu "Scrape mode / Scrape en 2 passes (Experimental)" ) Si mes soupçons se confirme, j'en parlerais avec MarbleMad Pour les option de tri par type, je verrais plus tard, mes vacances se terminent, j'aurais moins de temps après ^^

[acris]

Salut @Screech, Alors j'ai lancé le scrap de neogeo (154 roms) avec la nouvelle version. 1er passage : 2/154 2nd passage : 141/154 sur quoi neogeo se base pour le scrap ? neogeo AES ? MVS ? Mame ? car en plus je lui demande de prendre les boites et trouvent que les screenshots.

$ELEMENT_11 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
$ELEMENT_12 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
$ELEMENT_13 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
$ELEMENT_14 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
$ELEMENT_15 		= 'image|path:image|medias/media_screenshot|path:image'

edit : scrap de mame en 2 passages 1er passage : 2554/2554 roms il a tout trouvé du 1er coup. mais il lance le 2nd passage quand même.

[screech]

@Acris Alors, sur quoi se base le scrape neogeo : J'ai (arbitrairement) basée le répertoire neogeo sur MVS (peut etre à tord) Tu peux checker la table dans le fichier texte "systemlist.txt" qui est dans le répertoire ressources (la première colonne c'est le nom du répertoire, la deuxième, le nom du system sélectionné) Du coup les boites, c'est que sur l'AES, mais il faut vraiment des dumps AES. Si tu veux récupérer les boite AES alors que tes roms viennent d'un dump MVS ce n'est pas possible aujourd'hui. Sinon, jai amélioré le moteur de scrape. En effet, grâce à ton retour, j'ai constaté que lorsqu'un système est précisé, il ne scrape QUE pour ce système. Ce qui peut poser problème pour l'arcade avec des répertoires contenant du CPS1,2,3, du neogeo, du cave, et plein d'autre trucs. Du coup, maintenant le scraper cherche d'abord pour le système sélectionné (ou pré sélectionne) puis s'il ne trouve pas, redemande sans système. ça devrait améliorer le taux de roms trouvé du premier coup. J'ai demandé à Marblemad son avis, mais il est pas dispo en ce moment donc on verra ce qu'il en dit à son retour... La c'est plus du coté du Screenscraper que du mien qu'il faut agir ^^   La version 1.1.1.2 qui marche bien ^^

[voljega]

sinon j'ai constaté les chose suivantes sur les pochettes auto-générées de screenscraper : - les pochettes GameBoy et VirtualBoy sont déformées, le bon ratio est plutôt environ 1/1 (quelque chose comme 513px/513px pour la GameBoy) - les pochettes GameGear sont mal coupées, il manque quelques pixels (entre 5 et 20 je dirais) sur la gauche de la plupart des pochettes du système et peut-être un poil sur le haut (pas sur) - les pochettes GameBoy et PCEngine sont floues, manquent de définition

[screech]

Je ne peux répondre que pour la gamegear (parce que c'est moi qui les ai faite pour la majeur partie ) J'ai respecté le gabarit fournie, mais il est possible que le générateur n'utilise pas correctement le gabarit. J'en parlerais à Marblemad à son retour de NY

[reaver-seven]

<del>Salut, alors tout fonctionne presque a merveille pour moi, je me tape juste une ERROR5 lors de l'écriture du gamelist.xml de la neo geo et de la nes.</del> <del>La nes est pourtant issue du même romset no intro (archive romset  2016 no intro fixed)</del> <del>J'ai essayé de trifouiller, et même de le créer moi même, ça veut pô. Une petite idée?</del> RESOLU, il manquait un / dans le chemin, du coup il trouvait pas les images. Pour les roms nes, j'ai re-DL un romset no intro et le problème a été résolu, pour les roms neo geo, ce n'est pas résolu mais je m'en fiche, il n'y a que 12 jeux, je vais les ajouter manuellement.   Pour la PSX, il n'y a pas une astuce plus pratique que de le faire manuellement? J'en ai pas beaucoup, mais je préfère demander

[screech]

Hello, j'ai fait une petite correction pour l'erreur 5 : En fait, il trouvait bien des fichiers zip, mais aucune rom trouvée sur screenscraper, et il aimait pas ça ^^ pour les jeux PSX, malheureusement pas d'astuce hormis trouver un set ou les roms sont zipées, scrapper, les dezipper, puis modifier le fichier xml avec un rechercher/remplacer ".zip" par ."bin" (ou ".cue" en fonction) c'est tout ce que j'ai a te proposer. Pour les neogeo, même la dernière version ne te trouve rien ?

[clad-strife]

Bonjour, Tout d'abord merci pour le boulot accompli! C'est assez monstrueux. J'ai cependant quelques questions : J'ai réussi à scrapper quelques sets, et il trouve des images de jeux au lieu des jaquettes, je ne sais pas si j'ai loupé un truc lors de la configuration? Bon ce n'est pas encore trop dérangent mais on sait jamais.   Sinon j'ai un autre soucis, hier j'ai scrapper plusieurs sets de roms (remis en .zip et kill emultionstation au préalable), le scrap se déroule bien, il trouve quasiment toutes les roms, les images sont bien dans le fichier download et le fichier gamelist est bien édité. Mais au redémarrage du raspberi il n'affiche rien, les listes sont bien mise de façon à ce que les images doivent apparaître, mais pas d'image, et ça me le fait pour la Master System, Game Gear, Nec PC Engine et FBA Liberto. Du coup je ne comprends car j'ai réussi à scrapper deux sets auparavant sans soucis.   Ensuite autres questions, il arrivent parfois que le scrap mette des screens des jeux en double ou en triple et quand je consulte mon raspberi il affiche plusieurs jeux alors qu'il n'y en à qu'un dans les fichiers (je ne sais pas si j'ai bien réussi à me faire comprendre), en gros il crée des doubles alors qu'a la base il n'y en à pas (les set on été trié par mes soins).   Et pour les Set FBA et Mame (en set no intro) quel console je doit choisir?   Merci d'avance pour votre aide.

[screech]

Hello @Clad-strafe Alors, si tu utilise la config par défaut, il dl en priorité les Screenshot, puis s'il n'en trouve pas les boîtiers 2D. Si tu veux modifier cela tu peux modifier le fichier config.ini -> voir le Wiki Concernant ton problème d'image, es-tu sur que le kill emulationstation a bien fonctionné ? (normalement tu dois avoir un écran noir sur le pi) Pour vérifier, redémarre ton pi et regarde le fichier gamelist.xml correspondant, s'il est vide ou contient d'ancienne donnée, c'est que le kill n'avait pas bien fonctionné. Si tout te semble correct, vérifie bien les chemins du fichier xml (en standard : ./downloaded_images/xxxx.jpg ou .png) A priori, on m'a remonté un problème avec l'affichage des png sur la recalbox, il faut que je check ça. au pire, je forcerais le jpg dans la prochaine version. concernant les images en doublons/triplons, as tu changé le nom de la rom ? Normalement, il ne retelecharge pas une image si elle existe, mais si le nom de la rom change il retelechargera l'image. Exemple :

mario.zip -> ./downloaded_images/mario-image.jpg

si tu renomme :

supermariobros.zip -> ./downloaded_images/supermariobros-image.jpg

mais il ne supprimera pas l'ancien mario-image.jpg Sinon, attention aussi au mode "append" (ajouter de nouvelle rom). Si tu avais mario.zip, que tu as fait un scrape, puis que tu renomme en supermariobros.zip et que tu rescrapes avec la fonction "ajouter de nouvelle rom" il ne supprimera pas mario.zip... Tu auras donc les 2 qui apparaîtrons (vue qu'ils seront tous les 2 dans le fichier xml) mais qu'un seul qui fonctionnera. (Je sais pas si je suis clair ^^) Enfin, pour FBA ou Mame, tu peux choisir le système Mame. (D’ailleurs, si tu utilise la dernière version, il le fera tous seul et en plus tu pourras profiter de l'autoconfig ) N’hésite pas à me tenir au courant si tu as des problèmes

[clad-strife]

Salut, Je te remercie pour les conseils, je vais allez tester ça (je pense donner mon retour dans la soirée). Et d'après ce que tu me dis il y à peut être eu un conflit avec d'ancien scrap, je vais tout enlever et refaire un scrap de zéro. En général pour le kill emultionstation j'attend effectivement que l'écran soit noir avant de commencer. Pour les doubles ou triples, non je n'ai pas changer les noms des roms justement, mais est ce que ça pouvait provenir d'un ancien scrap ce problème?   Dans tous les cas je re test tout ça et je te tiens au courant, merci pour ton aide!

[voljega]

Hmmm ES n'affiche un nom de jeu dans la liste que si le fichier correspondant au scrape existe réellement. Donc dans le cas ou mario.zip est renommé en supermariobros.zip, le scrape de mario.zip n'apparaitra plus même si il est encore présent dans le fichier gamelist.xml. Plus vraisemblablement : - soit copie du fichier et renommage plutôt que renommage simple - soit set pas si bien nettoyé que ça - soit erreur sur le scrape d'un jeu identifié à un autre et donc le scrape récupéré n'est pas celui du jeu... bon ça ne m'est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

[screech]

– soit erreur sur le scrape d’un jeu identifié à un autre et donc le scrape récupéré n’est pas celui du jeu… bon ça ne m’est jamais arrivé avec UXS mais avec le scraper de la recalbox ça le faisait énormément

C'est normalement impossible avec UXS Justement c'est une des forces qui fait aussi sont défaut. Avec Screenscraper -> 1 Rom = 1 hash = 1 jeu. Par contre, tu as peut être plusieurs versions d'un même jeu (version Us, Eu, Jp, World, Alpha, Beta, Proto, Rev 1,2,3,....) Dans ce cas la, 1 jeu = X Hash = X roms... ça c'est possible (Je fais ma propre pub mais pour nettoyer tes Roms Set console, tu peux utiliser : Universal Rom Cleaner    (Par contre je viens d'apprendre que les fichiers sont prioritaire sur le XML pour l'affichage des roms ^^ je pensais l'inverse Merci @Voljega )

[acris]

Salut @screech j'ai testé la nouvelle version et impossible de cocher la 2nd passe. Par contre maintenant neogeo au 1er scrap il trouve 141/154 comment ajouter les hash manquants sur screenscraper ?

b2b.zip|338538FB
garoup.zip|1165C570
joyjoy.zip|CB81D2E1
kof2001.zip|4E477850
kof2002.zip|0995C14A
lbowling.zip|15DC8F15
lhcdb.zip|18CF09A4
ridhero.zip|1155AD28
shocktr2.zip|4DC34BCD
sonicwi.zip|2C8FFD52
totcarib.zip|32BBBD32
trally.zip|1EAB5C4D

edit : c est voulu de laisser l icone de screenscraper apparaitre près de l horloge ?

[clad-strife]

Alors je viens de réessayer, pour la Game Gear ça à fonctionné, les images n’apparaissait pas au début et après elles sont apparu, au bout de quelques minutes. Pour les doublons j'ai trouvé, effectivement j'ai laissé les versions jap, et le scrap ne prend pas les nom jap, il les mets directement au même nom de jeu, je comprend maintenant les doubles voir les triples, je sais ce qu'il me reste à faire ^^. Par contre j'ai tenté de modifier le fichier config (UXS-Config dans le dossier de XML c'est bien ça?) je n'ai pas réussi à le faire, j'ai peut être mal réalisé la manip, enfin après ce n'est pas encore trop grave tant que j'ai au moins une image par jeu. Merci pour les conseils.   Edit : Merci pour le universal roms cleaner, je vais essayer ça demain. Par contre j'ai de nouveau le problème des images qui ne s'affiche pas alors que le scrap c'est bien déroulé. J'ai effectuer le scrap Game Gear, redémarré le pi et la ok les images apparaissent. Je réutilise la commande kill emulationstation, je fait trois scrap, celui de fba_libretro (qui trouve quasiment tout), celui de mame (qui bizarrement beug) et celui de la megadrive. Au redémarrage les images megadrive s'affiche sans problème, mais pour fba_libretro rien du tout, le fichier gamelist est bien édité, les screens sont bien dans le dossier et même après plusieurs redémarrage il n'y à toujours rien de visible.

[screech]

@Acris Oui effectivement, le menu 2 Passes est toujours la, il faut que je le retire, il ne sert plus à rien (en fait, maintenant il scrape automatiquement une 2eme fois uniquement les roms qu'il ne trouve pas la première fois). Je pensais avoir retiré le menu, je le ferais sur la prochaine version Pour le logo à coté de l'heure, oui c'est normal, mais je peux le retirer si vous trouvez ça gênant @Clad-strife dit moi ce que tu veux comme image à la place des screenshot, et je t'aiderais à configurer le fichier ini Quand tu dis que celui de mame beug, tu peux m'en dire un peu plus ? (il ne trouve rien ? te met un message d'erreur ?) Enfin pour fba-libretoro et tes images : Ouvre le fichier gamelist.xml qui est dans le répertoire FBA et regarde la première ligne qui commence par

<image>

Tu dois avoir quelque chose du genre :

<image>./downloaded_images/NOMDELAROM-image.png</image>

Vérifie qu'il n'y a pas de "/" en trop ou manquant et qu'il ne manque pas le "." au début. Puis regarde dans le répertoire "downloaded_images" si l'image est bien présente (NOMDELAROM-image.png ou .jpg) Si c'est le cas, essaye d'ouvrir l'image pour voir si elle s'ouvre bien et qu'elle est correcte. Si tout ça est OK, je n'ai pas la moindre idée pourquoi ça marche des fois et pas d'autre. Peut être un problème avec les .png, je vais voir à forcer en .jpg si c'est le cas.

[supernature2k]

Hi All, Merci @screech pour ton soft, J'ai un excellent taux de réussite sur les consoles "pas trop vieilles" En revanche quand ce ne sont pas des zips ou des zips qui ne lui plaisent pas, le taux tombe à zéro. Le plus gros problème reste les roms "mame" alors que imo, ce sont les plus simple à scrapper en se basant sur le nom qui est toujours le même. Aurais-tu moyen de baser le scrap mame (et uniquement lui) sur le nom au lieu du hash? Pour le problème de @Clad-strife, j'ai eu ça aussi. En fait il y a du avoir un bug lors du merge des xml et il manquait le <gamelist> au début du xml final. Edit: j'oubliais, pourquoi tes scraps sont en png? imposé par screenscraper.fr? Les jpg de thegames.db prennent 10 fois moins de place