[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[jomofcw]

Bonjour à tous ! Tout d'abord, merci @screech pour le soft =). Ça marche niquel ! A un détail prêt : je l'utilise depuis hier et c'est extrêmement lent. De ce que je lis ici et sur IRC ça ne semble pas "normal". Je me décide donc à poster le problème sur ce forum. Le contexte : PC récent (Intel Core I5-4570) sous Windows 10 (à jour), clé USB RecalBox connecté au PC (Sandisk 128Go), connexion Internet via fibre optique (~90Mbps parallèle). Je fais un test sur un de mes plus petit répertoire de ROMs, celui du sega32x. 63 roms traitées avec succès en 2m51s (soit 1 rom toutes les 2,8 secondes environ). Là c'est tout à fait correct au niveau du temps. Je lance le scrapping sur mon répertoire "nes". Là c’est une autre histoire puisqu'il y a 2690 roms à traiter. Les premières ROMs se font sans soucis, à vue de nez par trop plus de 2s par ROM... mais à la longue, ça se détériore... beaucoup. Présentement j'en suis à 508 ROM traitées, et ça met environ 9s par ROM. Sur mon essaie d'hier je suis allé jusqu'à environ 1500 ROMs de mémoire et ça mettait bien plus de 20s par ROM. Au final, le soft a tourné plus de 7H pour faire les 1500 ROMs, je l'ai arrêté manuellement via le bouton stop, les infos des ROMs traitées sont bien dispo, je les vois dans ES. Donc galère :/... Le deuxième "soucis", c'est que je pensais que le soft ne repasserait pas sur les ROMs déjà traitées, mais apparemment si... du coup ça n'en finira jamais ou à défaut ça va mettre clairement des plombes. Donc je ne sais pas trop quoi faire... une idée SVP ? Sachant que j'aimerais bien avoir mon scrapping en FR et que ce soft semble très bien fonctionner chez nombre de personne donc, pourquoi pas chez moi ? Toute aide est la bienvenue, merci d'avance ! ----------------------------------- Evolution du temps pour suivis :

• 508 ROMs traitées : ~9s par ROM;
• 717 ROMs traitées : ~13s par ROM;
• 1027 ROMs traitées : ~22s par ROM; > j'arrête là pour tenter de scrapper depuis le disque dur et non depuis la clé

[voljega]

Perso je copie colle les roms depuis un répertoire de sauvegarde vers un répertoire de scrape. Je fais le scrape des disons 500 premières, jusqu'à ce que ça devienne trop lent. J'arrête le scrape, j'efface les 500 premières roms et je relance le scrape. Pour la NES j'ai fait trois ou quatre batchs de scrape.... A la fin il suffit d'effacer le contenu du répertoire de scrape sauf gamelist.xml et downloaded_images et de recopier tous les fichiers roms dans le répertoire de scrape depuis le répertoire de sauvegarde...

[jomofcw]

Bon, j'ai tenté de scrapper direct sur disque dur plutôt que sur la clé USB : même résultat, voir pire (du fait que le DD soit sollicité également pour le fonctionnement du PC je pense). En effet, j'étais déjà à prêt de 9s par ROM à la 290ème. @voljega salut ! OK, merci pour la méthode. J'vais tenter ça en attendant mieux... Par contre il y a un truc que je nai pas du saisir... sauf erreur de ma part, le fichier gamelist.xml est reset au début de chaque processus (l'ancien est stocké dans gamelist.xml.old)... donc tu les fusionnes à la main pour pas perdre l'historique ?

[screech]

Bonjour, Effectivement, c'est un problème que je rencontre aussi. A priori, cela vient de l’écriture dans le fichier XML qui, plus il grossit, plus il devient lent. J'utilise des composants "standard" pour la gestion du XML et j'ai l'impression que ça vient d'eux... Je vais voir si je peux optimiser cette partie pour la rendre plus efficace. Concernant le reset du fichier à chaque scrap, c'est dans ma todo list de faire un fonction "append" qui ne ferait que "compléter" un fichier avec les manquants. La problématique vient justement des gros fichiers. Exemple, tu rajoutes 10 roms à un fichier XML qui en contient 2000, il faut tout pa**er pour voir si la rom existe déjà ou pas... Du coup c'est une usine à gaz hyper lente... Il faut que je revois la metodo... Dès que je peux me dégager du temps et me remettre dessus à fond, je m'en occupe promis

[john-rimbaud]

Ton soft marche déjà très bien ^^

[screech]

Un petit détail le 'Verbose = 1' ralentie aussi énormément (mais génère un gros fichier de log) Pensez à supprimer la ligne (ou à la passer à 0 ^^)

[voljega]

"Concernant le reset du fichier à chaque scrap, c’est dans ma todo list de faire un fonction “append” qui ne ferait que “compléter” un fichier avec les manquants. La problématique vient justement des gros fichiers. Exemple, tu rajoutes 10 roms à un fichier XML qui en contient 2000, il faut tout pa**er pour voir si la rom existe déjà ou pas… Du coup c’est une usine à gaz hyper lente… Il faut que je revois la metodo…" Lis le fichier XML existant au début, extrait une simple liste de chaine des fichiers de roms déjà scrappés que tu gardes dans un coin (ça te fera une liste de 1000 éléments max) et quand tu fais la réconciliation tu compares ton nom de fichier à réconcilier par rapport à cette liste plutôt que par rapport au fichier. Sinon pour la génération du scrappe en règle générale, si c'est la taille du fichier qui prend du temps tu peux générer des bouts de fichiers, tous les 200 fichiers scrappés par exemple, tu passe à un autre fichier xml ou texte temporaire, à la fin tu combines tous tes fichiers temporaires en un seul. (tu peux même le faire en copiant/collant le contenu texte du fichier plutôt que de le considérer comme du xml à cette étape)

[screech]

Pour la version Append, c’était l'idée que j'en avais, par contre, pas bête l'idée de fractionner le scan et de fusionner le tout à la fin Je vais surement bosser dessus ce WE Merci

[jomofcw]

Merci pour ta réponse @screech :-). En attendant j'ai utilisé FullScrape.sh. Je retenterais quand ces points seront fixé ! Quoi qu'il en soit, merci pour le taf accompli et celui à venir !

[screech]

Bon, effectivement, le changement est radical avec cette méthode Sachant qu'il y a plus de 15 minutes de calcul de Hash. Je vais essayer de raccourcir ce temps la aussi et on devrait avoir un scrape qui dépote Je modifie en même temps le corps du soft pour la partie "Append" qui ne fera que compléter les roms manquante et ça devrait être plutôt cool   (Je n'ai pas encore publié la dernière versions mais ça arrive )

[voljega]

Genial !!!

[reaver-seven]

Bonsoir, tout d'abord, merci beaucoup pour ce superbe logiciel et cette base de données géniale.   Je rencontre cependant un facheux problème. En effet, il ne veut pas télécharger les images de roms de la NES, qui pourtant, sont issues de set no intro, et au format zip dans leur nom d'origine. J'ai 200 roms NES, elles sont bien détectées, le scrap s'effectue normalement et la gamelist se génere, mais je n'ai aucune image dans "downloaded_images". J'ai tout essayé, depuis la recalbox, depuis windows, et je n'ai aucun problème sauf avec la NES. Auriez vous une solution miracle?   Voici un aperçu du log:

[00:38:34] - ()Rom non trouve : Ice Climber (USA, Europe).zip [00:38:34] - Recuperation des informations de la Rom no 26 [00:38:35] - Fin de l'ecriture des informations de la Rom no 26 en 0.942s [00:38:35] - ()Rom non trouve : Kart Fighter (Unl).zip [00:38:35] - Recuperation des informations de la Rom no 27 [00:38:36] - Fin de l'ecriture des informations de la Rom no 27 en 0.968s [00:38:36] - ()Rom non trouve : Kirby's Adventure.zip [00:38:36] - Recuperation des informations de la Rom no 28 [00:38:37] - Fin de l'ecriture des informations de la Rom no 28 en 0.916s [00:38:37] - ()Rom non trouve : Legend of Zelda, The (USA).zip

[screech]

Je travail sur une nouvelle version beaucoup plus performante Elle devrait être prête ce soir (En plus j'ai découvert un petit bug sur les image justement, ça devrait peut être régler ton soucis )

[jomofcw]

Beau boulot @screech ! Si la version est dispo je ferais des tests dans la semaine et j'te donnerais un retour, si ça peut aider :-).

[reaver-seven]

Je serai ravi de pouvoir filer la main, car même les roms de snes il trouve pas les images >< alors que la GBA et  la Megadrive aucun probleme ^^   Edit: bon et bah suite a la maj les problèmes persistent toujours. Tant pis, je vais repasser sur le fullscrape.sh de l'autre tuto. C'est vraiment dommage car les snapshot et le programme sont bien fichus. Toutes mes roms sont issues de la box HFS, donc no intro.  Et que ce soit Snes et NES il ne veut rien trouver, qu'importe le format des jeux, j'ai tout éssayé 7z, zip, rar, format .nes ou Sfc etc... rien n'y fait.   Merci quand même!

[screech]

Désolé, je devais mettre la MaJ hier soir et je n'ai pas pu. Je vais essayer ce soir. Par contre, aurais tu moyen de m'envoyer une rom de ton set que je la test (mail : screech [at] free.fr) C'est surprenant que tes autres set fonctionnent sauf la NES et la SNES...

[reaver-seven]

entendu, mail envoyé, mais ne te prends pas la tête, au pire je vais ajouter manuellement tous les snapshots via l'editeur XML^^

[dale_coop]

Tout comme John Rimbaud, moi aussi, j'ai le souci du fichier INI qui ne garde pas mes chemins. Pour tant le numéro de version indiqué dedans correspond bien, et j'ai enlevé la clé "verbose" pour voir, mais pas mieux. Et sinon une autre remarque, pour quoi le titre de la fenêtre est "Universale XML Scraper" et pas "Universal XML Scraper" ? (coquille?) Sinon, très sympathique ton soft, bravo ! ++ dale

[screech]

@Reaver Seven : Bon, je viens de tester les roms que tu m'a envoyé. Voila le résultat : [13:58:38] - (*)Rom non trouve : Final Fantasy (USA).zip(Hash : A8DA8005) [13:58:39] - (*)Rom non trouve : Legend of Zelda, The (USA).zip(Hash : 1CC64968) [13:58:40] - (*)Rom non trouve : Legend of Zelda, The - A Link to the Past (France).zip(Hash : 6D117E69) [13:58:40] - (*)Rom non trouve : Mario Bros. Classic (Europe).zip(Hash : E99C2AC6) [13:58:41] - (*)Rom non trouve : Mega Man X [Traduction FR].zip(Hash : CD530E6C) [13:58:42] - (*)Rom non trouve : Street Fighter II Turbo (USA).zip(Hash : 8DC4525F) J'ai checké les HASH sur Screenscraper, et effectivement, aucune de tes Roms ne possèdent un HASH qui correspond aux jeux du site :S Donc, ou tes Roms ne viennent pas d'un set (genre no-intro) ou il y a eu compression/decompression/recompression ce qui a modifié les hash J'ai donc testé avec une de mes Roms : [14:05:07] - Rom trouve : Final Fantasy (USA).zip(Hash : 4D4356BB) Et moi ça marche Je t'encourage donc à rechercher les derniers set no-intro (Une petite recherche google : no-intro 2016 Archive et tu devrais trouver ton bonheur) @dale_coop Je vais rechecker ma mise à jour du fichier ini (pourquoi il le change, c'est bizarre). Et sinon merci pour le E en trop ^^

[screech]

@dale_coop @ReaverSeven @JustOnMyOwn @Voljega Voila, la dernière version est enfin sortie Universal XML Scraper V1.1.0.0 J'ai même failli l'appeler V2 tellement les changement (pas forcement visible) sont nombreux. J'ai revu complètement le moteur de scrape sur les conseils de @Voljega Maintenant chaque Rom créer sont petit fichier dans un répertoire TEMP pour ensuite être fusionné à la fin. Le gain de temps est assez incroyable. Le Hash se fait au moment du scrape de chaque rom (cela permet de ne pas tout Hasher au début) J'ai ajouté un menu qui permet de choisi si vous voulez ajouter des section "vide" pour les roms non trouvées. Et enfin la version qui permet de compléter un fichier commencé... J'ai fait pas mal de tests, un peu dans tous les sens et je n'ai pas trouvé d'anomalie. Donc n’hésitez pas à me remonter si vous trouvez des bug Au passage j'ai corrigé 2 bugs : un sur les images qui n’était pas toujours ajouté au fichier XML si elles existé déjà et le bug sur les fichier INI qui se réinitialise systématiquement.. Voila à vous de jouer P.S. : J'ai aussi ajouté un petit timer pour indiquer le temps estimé restant avant la fin du scrape... Il n'est pas très précis au début mais s'affine sur la fin ^^ (comme il s'agit d'une moyenne de temps de scrape par rom multiplié par le nombre de roms restantes, tant que la moyenne fluctue, surtout au début, le temps restant fluctue aussi )