[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[dale_coop]

Tout comme John Rimbaud, moi aussi, j'ai le souci du fichier INI qui ne garde pas mes chemins. Pour tant le numéro de version indiqué dedans correspond bien, et j'ai enlevé la clé "verbose" pour voir, mais pas mieux. Et sinon une autre remarque, pour quoi le titre de la fenêtre est "Universale XML Scraper" et pas "Universal XML Scraper" ? (coquille?) Sinon, très sympathique ton soft, bravo ! ++ dale

[screech]

@Reaver Seven : Bon, je viens de tester les roms que tu m'a envoyé. Voila le résultat : [13:58:38] - (*)Rom non trouve : Final Fantasy (USA).zip(Hash : A8DA8005) [13:58:39] - (*)Rom non trouve : Legend of Zelda, The (USA).zip(Hash : 1CC64968) [13:58:40] - (*)Rom non trouve : Legend of Zelda, The - A Link to the Past (France).zip(Hash : 6D117E69) [13:58:40] - (*)Rom non trouve : Mario Bros. Classic (Europe).zip(Hash : E99C2AC6) [13:58:41] - (*)Rom non trouve : Mega Man X [Traduction FR].zip(Hash : CD530E6C) [13:58:42] - (*)Rom non trouve : Street Fighter II Turbo (USA).zip(Hash : 8DC4525F) J'ai checké les HASH sur Screenscraper, et effectivement, aucune de tes Roms ne possèdent un HASH qui correspond aux jeux du site :S Donc, ou tes Roms ne viennent pas d'un set (genre no-intro) ou il y a eu compression/decompression/recompression ce qui a modifié les hash J'ai donc testé avec une de mes Roms : [14:05:07] - Rom trouve : Final Fantasy (USA).zip(Hash : 4D4356BB) Et moi ça marche Je t'encourage donc à rechercher les derniers set no-intro (Une petite recherche google : no-intro 2016 Archive et tu devrais trouver ton bonheur) @dale_coop Je vais rechecker ma mise à jour du fichier ini (pourquoi il le change, c'est bizarre). Et sinon merci pour le E en trop ^^

[screech]

@dale_coop @ReaverSeven @JustOnMyOwn @Voljega Voila, la dernière version est enfin sortie Universal XML Scraper V1.1.0.0 J'ai même failli l'appeler V2 tellement les changement (pas forcement visible) sont nombreux. J'ai revu complètement le moteur de scrape sur les conseils de @Voljega Maintenant chaque Rom créer sont petit fichier dans un répertoire TEMP pour ensuite être fusionné à la fin. Le gain de temps est assez incroyable. Le Hash se fait au moment du scrape de chaque rom (cela permet de ne pas tout Hasher au début) J'ai ajouté un menu qui permet de choisi si vous voulez ajouter des section "vide" pour les roms non trouvées. Et enfin la version qui permet de compléter un fichier commencé... J'ai fait pas mal de tests, un peu dans tous les sens et je n'ai pas trouvé d'anomalie. Donc n’hésitez pas à me remonter si vous trouvez des bug Au passage j'ai corrigé 2 bugs : un sur les images qui n’était pas toujours ajouté au fichier XML si elles existé déjà et le bug sur les fichier INI qui se réinitialise systématiquement.. Voila à vous de jouer P.S. : J'ai aussi ajouté un petit timer pour indiquer le temps estimé restant avant la fin du scrape... Il n'est pas très précis au début mais s'affine sur la fin ^^ (comme il s'agit d'une moyenne de temps de scrape par rom multiplié par le nombre de roms restantes, tant que la moyenne fluctue, surtout au début, le temps restant fluctue aussi )

[acris]

@screech je viens de telecharger la derniere version en x64 et j'ai ce message d'erreur : avec un no file(s) were found. Je testai sur psx, pcengine fichier en bin+cue provenant de différents sites.

[screech]

@Acris oui, il va falloir que je mette un message plus clair (et du coup corriger ce petit bug au moment de la fusion ) Mais seul les fichier zip peuvent être scrapé pour le moment

[acris]

Faudrait peut etre indiqué ou faire une petite vérification de l extension détecté pour dire que les zip sont uniquement supportés. Le message apparait effectivement uniquement avec des fichiers dézippés. ça serait bien qu un log pour chaque dossier scanné note les roms non trouvées.

[voljega]

Bravo pour cette nouvelle version !

[screech]

@Acris it's done Version 1.1.0.1

• Ajout d'un fichier missing.txt dans le répertoire des roms scrapées contenant le noms des roms non trouvé et leur hash en CRC32
• Modification du message d'erreur lors d'un répertoire vide
• Correction d'une erreur lorsque aucune rom n'est trouvée

[hardt]

Je ne dois pas être très doué, je pose ma question ici J'ai lancé le scrape pour la NES, tout s'est bien passé, les images apparaissent bien dans le dossier downloaded_images, mais rien n'apparait sous Recalbox... est-ce que je dois changer quelque chose? Edit: je n'avais pas kill ES, peut-être que cela vient de là... A retester !

[screech]

@hardt Effectivement, si tu n'avais pas kill ES, il ne prend pas en compte ton scrape. Sinon, vérifie bien tes chemins (normalement dans la config par défaut les chemins sont ok pour une V4 et la nes après tu adaptes )

[acris]

Merci @Screech Par contre je ne comrpend pas qu'au 1er lancement il y a un tjs un message d'erreur : le chemin du fichier xml n'est pas accessible. suivie d'un autre message d'erreur : les chemins des ROMS et images ne sont pas accessibles. Je pense que ça serait judicieux de lancer la GUI de configuration ou de profil. edit : d ailleurs j ai les messages d'erreur qui apparaissent aussi si je choisis un profil , est ce normal ? Pc sous windows 10/win 7

[screech]

@Acris En fait, tu as le message si ta recalbox n'est pas accessible via le reseau (avec des identifiants standards) Mais c'est corrigé, voir ci dessous Et voila une nouvelle version : Universal-XML-Scraper V1.1.1.0 Au menu plein de modifications encore pour rendre le soft plus stable et easy use

• Maintenant les messages d'erreurs sur les chemins n'apparaissent que si l'on lance le scrape (et qu'il y a un problème bien sur ;))
• J'ai ajouté un mode config auto : Si la Recalbox est accessible depuis le réseau, un nouveau menu "configuration automatique" apparaît avec la liste des répertoires de Roms de la recalbox, il suffit de sélectionner le système et il configure tout seul les chemins (il est bien sur encore possible de changer les chemins depuis le menu "configuration")
• J'ai ajouté une table de correspondance, en fonction du nom du répertoire contenant les Roms, il essaye d'identifier tout seul le système. Plus besoin de le choisir dans la liste (enfin si, uniquement s'il ne trouve pas de correspondance )

J'ai fait pas mal de tests, mais si certains pouvait faire des tests grandeur nature ce serait cool Merci aux beta testers, on se rapproche de plus en plus d'une version très stable...

[acris]

Coucou @Screech, merci pour les modifications cependant j ai toujours le message d'erreur que les chemins ne sont pas configurés car je ne scrappe pas vers ma recalbox mais à partir de ma clé usb et/ou mon pc

[screech]

@Acris Dans ce cas, il faut les configurer manuellement Si ta clef USB est E: Tu dois avoir tes roms dans E:\roms Voici donc les chemins qu'il faut que tu renseignes (par exemple pour la nes) : Chemin des roms a scraper : E:\roms\nes Chemin du fichier XML : E:\roms\nes\gamelist.xml Chemin des roms dans le fichier XML : ./ Chemin des images à télécharger : *E:\roms\nes\downloaded_images* Chemin des images dans le fichier XML : ./downloaded_images/ Aucune raison que cela ne fonctionne pas.... Si par contre tu parles du premier message qui dit "Le chemin des ROMs pour la configuration automatique n'est pas accessible", c'est normal, il ne s'agit que du module de configuration automatique qui n'arrive pas à trouver les roms sur ta recalbox via le réseau. Il doit d’ailleurs être grisé. Mais ça ne t’empêche pas de configurer manuellement. D'ailleur, si tu veux faire fonctionner la configuration automatique, tu peux changer dans le fichier config.ini :

[ScreenScraper-Recalbox v4]
$PATHAUTOCONF_PathRom =E:\roms\

avec E: étant la lettre de ta clef USB Du coup la config auto devrait fonctionner

[acris]

Salut @screech ça fonctionne pas de soucis de ce coté mais juste signaler que le message apparaissait toujours je m attends à ne plus le voir. Manquerait plus que tu nous développes un soft pour faire le tri par type pour l'arcade et le fichier missing.txt fonctionne aussi, y a un moyen simple d'ajouter les hash sur screenscraper ? : GAMEGEAR

G-LOC - Air Battle (USA, Europe).zip|DF718442
Madden 96 (USA, Europe).zip|831B8AE6
Madden NFL 95 (USA).zip|2BD51E6E
NBA Action Starring David Robinson (USA).zip|AE1A65BC
Paperboy 2 (USA, Europe).zip|FD3BD010
Poker Face Paul's Blackjack (USA).zip|01733534
Poker Face Paul's Gin (USA).zip|F7CDAE4E
Poker Face Paul's Poker (USA).zip|ECCB938F
Poker Face Paul's Solitaire (USA).zip|D04538A1
Spider-Man - X-Men - Arcade's Revenge (USA).zip|4B951472
Zool - Ninja of the 'Nth' Dimension (Europe).zip|00DF0566

edit : bizzare il ne trouve que 2 roms pour neogeo sur les 154 elements.... il charge un logo neogeo doré et me trouve que 2 roms si je prends l ancienne version que je choisis mame comme emulateur il me les trouves quasiment toutes.

4b2b.zip|338538FB
garoup.zip|1165C570
joyjoy.zip|CB81D2E1
kof2001.zip|4E477850
kof2002.zip|0995C14A
lbowling.zip|15DC8F15
lhcdb.zip|18CF09A4
neogeo.zip|2AB85224
ridhero.zip|1155AD28
shocktr2.zip|4DC34BCD
sonicwi.zip|2C8FFD52
totcarib.zip|32BBBD32
trally.zip|1EAB5C4D

[screech]

@Acris Je viens de pousser une nouvelle release sur Github : V1.1.1.1-beta Elle fait un second passage plus rapide après le premier scrape pour voir si il y a moyen de chopper des manquants Tu peux tester et me dire si c'est mieux avec la Neogeo ? (N'oublie pas de cocher le menu "Scrape mode / Scrape en 2 passes (Experimental)" ) Si mes soupçons se confirme, j'en parlerais avec MarbleMad Pour les option de tri par type, je verrais plus tard, mes vacances se terminent, j'aurais moins de temps après ^^

[acris]

Salut @Screech, Alors j'ai lancé le scrap de neogeo (154 roms) avec la nouvelle version. 1er passage : 2/154 2nd passage : 141/154 sur quoi neogeo se base pour le scrap ? neogeo AES ? MVS ? Mame ? car en plus je lui demande de prendre les boites et trouvent que les screenshots.

$ELEMENT_11 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
$ELEMENT_12 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
$ELEMENT_13 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
$ELEMENT_14 		= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
$ELEMENT_15 		= 'image|path:image|medias/media_screenshot|path:image'

edit : scrap de mame en 2 passages 1er passage : 2554/2554 roms il a tout trouvé du 1er coup. mais il lance le 2nd passage quand même.

[screech]

@Acris Alors, sur quoi se base le scrape neogeo : J'ai (arbitrairement) basée le répertoire neogeo sur MVS (peut etre à tord) Tu peux checker la table dans le fichier texte "systemlist.txt" qui est dans le répertoire ressources (la première colonne c'est le nom du répertoire, la deuxième, le nom du system sélectionné) Du coup les boites, c'est que sur l'AES, mais il faut vraiment des dumps AES. Si tu veux récupérer les boite AES alors que tes roms viennent d'un dump MVS ce n'est pas possible aujourd'hui. Sinon, jai amélioré le moteur de scrape. En effet, grâce à ton retour, j'ai constaté que lorsqu'un système est précisé, il ne scrape QUE pour ce système. Ce qui peut poser problème pour l'arcade avec des répertoires contenant du CPS1,2,3, du neogeo, du cave, et plein d'autre trucs. Du coup, maintenant le scraper cherche d'abord pour le système sélectionné (ou pré sélectionne) puis s'il ne trouve pas, redemande sans système. ça devrait améliorer le taux de roms trouvé du premier coup. J'ai demandé à Marblemad son avis, mais il est pas dispo en ce moment donc on verra ce qu'il en dit à son retour... La c'est plus du coté du Screenscraper que du mien qu'il faut agir ^^   La version 1.1.1.2 qui marche bien ^^

[voljega]

sinon j'ai constaté les chose suivantes sur les pochettes auto-générées de screenscraper : - les pochettes GameBoy et VirtualBoy sont déformées, le bon ratio est plutôt environ 1/1 (quelque chose comme 513px/513px pour la GameBoy) - les pochettes GameGear sont mal coupées, il manque quelques pixels (entre 5 et 20 je dirais) sur la gauche de la plupart des pochettes du système et peut-être un poil sur le haut (pas sur) - les pochettes GameBoy et PCEngine sont floues, manquent de définition

[screech]

Je ne peux répondre que pour la gamegear (parce que c'est moi qui les ai faite pour la majeur partie ) J'ai respecté le gabarit fournie, mais il est possible que le générateur n'utilise pas correctement le gabarit. J'en parlerais à Marblemad à son retour de NY