[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[reaver-seven]

Bonsoir, tout d'abord, merci beaucoup pour ce superbe logiciel et cette base de données géniale.   Je rencontre cependant un facheux problème. En effet, il ne veut pas télécharger les images de roms de la NES, qui pourtant, sont issues de set no intro, et au format zip dans leur nom d'origine. J'ai 200 roms NES, elles sont bien détectées, le scrap s'effectue normalement et la gamelist se génere, mais je n'ai aucune image dans "downloaded_images". J'ai tout essayé, depuis la recalbox, depuis windows, et je n'ai aucun problème sauf avec la NES. Auriez vous une solution miracle?   Voici un aperçu du log:

[00:38:34] - ()Rom non trouve : Ice Climber (USA, Europe).zip [00:38:34] - Recuperation des informations de la Rom no 26 [00:38:35] - Fin de l'ecriture des informations de la Rom no 26 en 0.942s [00:38:35] - ()Rom non trouve : Kart Fighter (Unl).zip [00:38:35] - Recuperation des informations de la Rom no 27 [00:38:36] - Fin de l'ecriture des informations de la Rom no 27 en 0.968s [00:38:36] - ()Rom non trouve : Kirby's Adventure.zip [00:38:36] - Recuperation des informations de la Rom no 28 [00:38:37] - Fin de l'ecriture des informations de la Rom no 28 en 0.916s [00:38:37] - ()Rom non trouve : Legend of Zelda, The (USA).zip

[screech]

Je travail sur une nouvelle version beaucoup plus performante Elle devrait être prête ce soir (En plus j'ai découvert un petit bug sur les image justement, ça devrait peut être régler ton soucis )

[jomofcw]

Beau boulot @screech ! Si la version est dispo je ferais des tests dans la semaine et j'te donnerais un retour, si ça peut aider :-).

[reaver-seven]

Je serai ravi de pouvoir filer la main, car même les roms de snes il trouve pas les images >< alors que la GBA et  la Megadrive aucun probleme ^^   Edit: bon et bah suite a la maj les problèmes persistent toujours. Tant pis, je vais repasser sur le fullscrape.sh de l'autre tuto. C'est vraiment dommage car les snapshot et le programme sont bien fichus. Toutes mes roms sont issues de la box HFS, donc no intro.  Et que ce soit Snes et NES il ne veut rien trouver, qu'importe le format des jeux, j'ai tout éssayé 7z, zip, rar, format .nes ou Sfc etc... rien n'y fait.   Merci quand même!

[screech]

Désolé, je devais mettre la MaJ hier soir et je n'ai pas pu. Je vais essayer ce soir. Par contre, aurais tu moyen de m'envoyer une rom de ton set que je la test (mail : screech [at] free.fr) C'est surprenant que tes autres set fonctionnent sauf la NES et la SNES...

[reaver-seven]

entendu, mail envoyé, mais ne te prends pas la tête, au pire je vais ajouter manuellement tous les snapshots via l'editeur XML^^

[dale_coop]

Tout comme John Rimbaud, moi aussi, j'ai le souci du fichier INI qui ne garde pas mes chemins. Pour tant le numéro de version indiqué dedans correspond bien, et j'ai enlevé la clé "verbose" pour voir, mais pas mieux. Et sinon une autre remarque, pour quoi le titre de la fenêtre est "Universale XML Scraper" et pas "Universal XML Scraper" ? (coquille?) Sinon, très sympathique ton soft, bravo ! ++ dale

[screech]

@Reaver Seven : Bon, je viens de tester les roms que tu m'a envoyé. Voila le résultat : [13:58:38] - (*)Rom non trouve : Final Fantasy (USA).zip(Hash : A8DA8005) [13:58:39] - (*)Rom non trouve : Legend of Zelda, The (USA).zip(Hash : 1CC64968) [13:58:40] - (*)Rom non trouve : Legend of Zelda, The - A Link to the Past (France).zip(Hash : 6D117E69) [13:58:40] - (*)Rom non trouve : Mario Bros. Classic (Europe).zip(Hash : E99C2AC6) [13:58:41] - (*)Rom non trouve : Mega Man X [Traduction FR].zip(Hash : CD530E6C) [13:58:42] - (*)Rom non trouve : Street Fighter II Turbo (USA).zip(Hash : 8DC4525F) J'ai checké les HASH sur Screenscraper, et effectivement, aucune de tes Roms ne possèdent un HASH qui correspond aux jeux du site :S Donc, ou tes Roms ne viennent pas d'un set (genre no-intro) ou il y a eu compression/decompression/recompression ce qui a modifié les hash J'ai donc testé avec une de mes Roms : [14:05:07] - Rom trouve : Final Fantasy (USA).zip(Hash : 4D4356BB) Et moi ça marche Je t'encourage donc à rechercher les derniers set no-intro (Une petite recherche google : no-intro 2016 Archive et tu devrais trouver ton bonheur) @dale_coop Je vais rechecker ma mise à jour du fichier ini (pourquoi il le change, c'est bizarre). Et sinon merci pour le E en trop ^^

[screech]

@dale_coop @ReaverSeven @JustOnMyOwn @Voljega Voila, la dernière version est enfin sortie Universal XML Scraper V1.1.0.0 J'ai même failli l'appeler V2 tellement les changement (pas forcement visible) sont nombreux. J'ai revu complètement le moteur de scrape sur les conseils de @Voljega Maintenant chaque Rom créer sont petit fichier dans un répertoire TEMP pour ensuite être fusionné à la fin. Le gain de temps est assez incroyable. Le Hash se fait au moment du scrape de chaque rom (cela permet de ne pas tout Hasher au début) J'ai ajouté un menu qui permet de choisi si vous voulez ajouter des section "vide" pour les roms non trouvées. Et enfin la version qui permet de compléter un fichier commencé... J'ai fait pas mal de tests, un peu dans tous les sens et je n'ai pas trouvé d'anomalie. Donc n’hésitez pas à me remonter si vous trouvez des bug Au passage j'ai corrigé 2 bugs : un sur les images qui n’était pas toujours ajouté au fichier XML si elles existé déjà et le bug sur les fichier INI qui se réinitialise systématiquement.. Voila à vous de jouer P.S. : J'ai aussi ajouté un petit timer pour indiquer le temps estimé restant avant la fin du scrape... Il n'est pas très précis au début mais s'affine sur la fin ^^ (comme il s'agit d'une moyenne de temps de scrape par rom multiplié par le nombre de roms restantes, tant que la moyenne fluctue, surtout au début, le temps restant fluctue aussi )

[acris]

@screech je viens de telecharger la derniere version en x64 et j'ai ce message d'erreur : avec un no file(s) were found. Je testai sur psx, pcengine fichier en bin+cue provenant de différents sites.

[screech]

@Acris oui, il va falloir que je mette un message plus clair (et du coup corriger ce petit bug au moment de la fusion ) Mais seul les fichier zip peuvent être scrapé pour le moment

[acris]

Faudrait peut etre indiqué ou faire une petite vérification de l extension détecté pour dire que les zip sont uniquement supportés. Le message apparait effectivement uniquement avec des fichiers dézippés. ça serait bien qu un log pour chaque dossier scanné note les roms non trouvées.

[voljega]

Bravo pour cette nouvelle version !

[screech]

@Acris it's done Version 1.1.0.1

• Ajout d'un fichier missing.txt dans le répertoire des roms scrapées contenant le noms des roms non trouvé et leur hash en CRC32
• Modification du message d'erreur lors d'un répertoire vide
• Correction d'une erreur lorsque aucune rom n'est trouvée

[hardt]

Je ne dois pas être très doué, je pose ma question ici J'ai lancé le scrape pour la NES, tout s'est bien passé, les images apparaissent bien dans le dossier downloaded_images, mais rien n'apparait sous Recalbox... est-ce que je dois changer quelque chose? Edit: je n'avais pas kill ES, peut-être que cela vient de là... A retester !

[screech]

@hardt Effectivement, si tu n'avais pas kill ES, il ne prend pas en compte ton scrape. Sinon, vérifie bien tes chemins (normalement dans la config par défaut les chemins sont ok pour une V4 et la nes après tu adaptes )

[acris]

Merci @Screech Par contre je ne comrpend pas qu'au 1er lancement il y a un tjs un message d'erreur : le chemin du fichier xml n'est pas accessible. suivie d'un autre message d'erreur : les chemins des ROMS et images ne sont pas accessibles. Je pense que ça serait judicieux de lancer la GUI de configuration ou de profil. edit : d ailleurs j ai les messages d'erreur qui apparaissent aussi si je choisis un profil , est ce normal ? Pc sous windows 10/win 7

[screech]

@Acris En fait, tu as le message si ta recalbox n'est pas accessible via le reseau (avec des identifiants standards) Mais c'est corrigé, voir ci dessous Et voila une nouvelle version : Universal-XML-Scraper V1.1.1.0 Au menu plein de modifications encore pour rendre le soft plus stable et easy use

• Maintenant les messages d'erreurs sur les chemins n'apparaissent que si l'on lance le scrape (et qu'il y a un problème bien sur ;))
• J'ai ajouté un mode config auto : Si la Recalbox est accessible depuis le réseau, un nouveau menu "configuration automatique" apparaît avec la liste des répertoires de Roms de la recalbox, il suffit de sélectionner le système et il configure tout seul les chemins (il est bien sur encore possible de changer les chemins depuis le menu "configuration")
• J'ai ajouté une table de correspondance, en fonction du nom du répertoire contenant les Roms, il essaye d'identifier tout seul le système. Plus besoin de le choisir dans la liste (enfin si, uniquement s'il ne trouve pas de correspondance )

J'ai fait pas mal de tests, mais si certains pouvait faire des tests grandeur nature ce serait cool Merci aux beta testers, on se rapproche de plus en plus d'une version très stable...

[acris]

Coucou @Screech, merci pour les modifications cependant j ai toujours le message d'erreur que les chemins ne sont pas configurés car je ne scrappe pas vers ma recalbox mais à partir de ma clé usb et/ou mon pc

[screech]

@Acris Dans ce cas, il faut les configurer manuellement Si ta clef USB est E: Tu dois avoir tes roms dans E:\roms Voici donc les chemins qu'il faut que tu renseignes (par exemple pour la nes) : Chemin des roms a scraper : E:\roms\nes Chemin du fichier XML : E:\roms\nes\gamelist.xml Chemin des roms dans le fichier XML : ./ Chemin des images à télécharger : *E:\roms\nes\downloaded_images* Chemin des images dans le fichier XML : ./downloaded_images/ Aucune raison que cela ne fonctionne pas.... Si par contre tu parles du premier message qui dit "Le chemin des ROMs pour la configuration automatique n'est pas accessible", c'est normal, il ne s'agit que du module de configuration automatique qui n'arrive pas à trouver les roms sur ta recalbox via le réseau. Il doit d’ailleurs être grisé. Mais ça ne t’empêche pas de configurer manuellement. D'ailleur, si tu veux faire fonctionner la configuration automatique, tu peux changer dans le fichier config.ini :

[ScreenScraper-Recalbox v4]
$PATHAUTOCONF_PathRom =E:\roms\

avec E: étant la lettre de ta clef USB Du coup la config auto devrait fonctionner