[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[john-rimbaud]

Je viens d'essayer, c'est toujours un screenshot qui est télécharger (en config de base).

[screech]

Oui, la config de base télécharge les screenshot, mais tu as tout ici : pour changer le media téléchargé : WIKI

[john-rimbaud]

Suite à la modif, le fichier ini est ok mais dès que je lance le scrapper, le fichier reviens dans son état de base (sans mes changements donc... Etrange...   EDIT : en lecture seule, ça à l'air de le faire ^^ Merci à toi ^^

[screech]

En toute logique, le fichier ini n'est "écrasé" que dans le cas d'une nouvelle version (parce que des modifications peuvent avoir lieu sur les profils d'une version à l'autre) Tu me confirme que tu as la dernière version et que tout au début du fichier tu as bien le tag suivant : [GENERAL] $verINI = '1.0.0.8' Si ce n'est pas le cas, ajoute le (mais normalement, si tu as la dernière version, il devrait l'ajouter tout seul après avoir mis à jour ton fichier ini.)

[john-rimbaud]

J'ai bien ceci: [GENERAL] $verINI = '1.0.0.8' Verbose = 1   Par contre, si ça a marché parfaitement pour la snes et la megadrive, il ne reconnait pas mes roms mega cd et gameboy color.

[jomofcw]

Bonjour à tous ! Tout d'abord, merci @screech pour le soft =). Ça marche niquel ! A un détail prêt : je l'utilise depuis hier et c'est extrêmement lent. De ce que je lis ici et sur IRC ça ne semble pas "normal". Je me décide donc à poster le problème sur ce forum. Le contexte : PC récent (Intel Core I5-4570) sous Windows 10 (à jour), clé USB RecalBox connecté au PC (Sandisk 128Go), connexion Internet via fibre optique (~90Mbps parallèle). Je fais un test sur un de mes plus petit répertoire de ROMs, celui du sega32x. 63 roms traitées avec succès en 2m51s (soit 1 rom toutes les 2,8 secondes environ). Là c'est tout à fait correct au niveau du temps. Je lance le scrapping sur mon répertoire "nes". Là c’est une autre histoire puisqu'il y a 2690 roms à traiter. Les premières ROMs se font sans soucis, à vue de nez par trop plus de 2s par ROM... mais à la longue, ça se détériore... beaucoup. Présentement j'en suis à 508 ROM traitées, et ça met environ 9s par ROM. Sur mon essaie d'hier je suis allé jusqu'à environ 1500 ROMs de mémoire et ça mettait bien plus de 20s par ROM. Au final, le soft a tourné plus de 7H pour faire les 1500 ROMs, je l'ai arrêté manuellement via le bouton stop, les infos des ROMs traitées sont bien dispo, je les vois dans ES. Donc galère :/... Le deuxième "soucis", c'est que je pensais que le soft ne repasserait pas sur les ROMs déjà traitées, mais apparemment si... du coup ça n'en finira jamais ou à défaut ça va mettre clairement des plombes. Donc je ne sais pas trop quoi faire... une idée SVP ? Sachant que j'aimerais bien avoir mon scrapping en FR et que ce soft semble très bien fonctionner chez nombre de personne donc, pourquoi pas chez moi ? Toute aide est la bienvenue, merci d'avance ! ----------------------------------- Evolution du temps pour suivis :

• 508 ROMs traitées : ~9s par ROM;
• 717 ROMs traitées : ~13s par ROM;
• 1027 ROMs traitées : ~22s par ROM; > j'arrête là pour tenter de scrapper depuis le disque dur et non depuis la clé

[voljega]

Perso je copie colle les roms depuis un répertoire de sauvegarde vers un répertoire de scrape. Je fais le scrape des disons 500 premières, jusqu'à ce que ça devienne trop lent. J'arrête le scrape, j'efface les 500 premières roms et je relance le scrape. Pour la NES j'ai fait trois ou quatre batchs de scrape.... A la fin il suffit d'effacer le contenu du répertoire de scrape sauf gamelist.xml et downloaded_images et de recopier tous les fichiers roms dans le répertoire de scrape depuis le répertoire de sauvegarde...

[jomofcw]

Bon, j'ai tenté de scrapper direct sur disque dur plutôt que sur la clé USB : même résultat, voir pire (du fait que le DD soit sollicité également pour le fonctionnement du PC je pense). En effet, j'étais déjà à prêt de 9s par ROM à la 290ème. @voljega salut ! OK, merci pour la méthode. J'vais tenter ça en attendant mieux... Par contre il y a un truc que je nai pas du saisir... sauf erreur de ma part, le fichier gamelist.xml est reset au début de chaque processus (l'ancien est stocké dans gamelist.xml.old)... donc tu les fusionnes à la main pour pas perdre l'historique ?

[screech]

Bonjour, Effectivement, c'est un problème que je rencontre aussi. A priori, cela vient de l’écriture dans le fichier XML qui, plus il grossit, plus il devient lent. J'utilise des composants "standard" pour la gestion du XML et j'ai l'impression que ça vient d'eux... Je vais voir si je peux optimiser cette partie pour la rendre plus efficace. Concernant le reset du fichier à chaque scrap, c'est dans ma todo list de faire un fonction "append" qui ne ferait que "compléter" un fichier avec les manquants. La problématique vient justement des gros fichiers. Exemple, tu rajoutes 10 roms à un fichier XML qui en contient 2000, il faut tout pa**er pour voir si la rom existe déjà ou pas... Du coup c'est une usine à gaz hyper lente... Il faut que je revois la metodo... Dès que je peux me dégager du temps et me remettre dessus à fond, je m'en occupe promis

[john-rimbaud]

Ton soft marche déjà très bien ^^

[screech]

Un petit détail le 'Verbose = 1' ralentie aussi énormément (mais génère un gros fichier de log) Pensez à supprimer la ligne (ou à la passer à 0 ^^)

[voljega]

"Concernant le reset du fichier à chaque scrap, c’est dans ma todo list de faire un fonction “append” qui ne ferait que “compléter” un fichier avec les manquants. La problématique vient justement des gros fichiers. Exemple, tu rajoutes 10 roms à un fichier XML qui en contient 2000, il faut tout pa**er pour voir si la rom existe déjà ou pas… Du coup c’est une usine à gaz hyper lente… Il faut que je revois la metodo…" Lis le fichier XML existant au début, extrait une simple liste de chaine des fichiers de roms déjà scrappés que tu gardes dans un coin (ça te fera une liste de 1000 éléments max) et quand tu fais la réconciliation tu compares ton nom de fichier à réconcilier par rapport à cette liste plutôt que par rapport au fichier. Sinon pour la génération du scrappe en règle générale, si c'est la taille du fichier qui prend du temps tu peux générer des bouts de fichiers, tous les 200 fichiers scrappés par exemple, tu passe à un autre fichier xml ou texte temporaire, à la fin tu combines tous tes fichiers temporaires en un seul. (tu peux même le faire en copiant/collant le contenu texte du fichier plutôt que de le considérer comme du xml à cette étape)

[screech]

Pour la version Append, c’était l'idée que j'en avais, par contre, pas bête l'idée de fractionner le scan et de fusionner le tout à la fin Je vais surement bosser dessus ce WE Merci

[jomofcw]

Merci pour ta réponse @screech :-). En attendant j'ai utilisé FullScrape.sh. Je retenterais quand ces points seront fixé ! Quoi qu'il en soit, merci pour le taf accompli et celui à venir !

[screech]

Bon, effectivement, le changement est radical avec cette méthode Sachant qu'il y a plus de 15 minutes de calcul de Hash. Je vais essayer de raccourcir ce temps la aussi et on devrait avoir un scrape qui dépote Je modifie en même temps le corps du soft pour la partie "Append" qui ne fera que compléter les roms manquante et ça devrait être plutôt cool   (Je n'ai pas encore publié la dernière versions mais ça arrive )

[voljega]

Genial !!!

[reaver-seven]

Bonsoir, tout d'abord, merci beaucoup pour ce superbe logiciel et cette base de données géniale.   Je rencontre cependant un facheux problème. En effet, il ne veut pas télécharger les images de roms de la NES, qui pourtant, sont issues de set no intro, et au format zip dans leur nom d'origine. J'ai 200 roms NES, elles sont bien détectées, le scrap s'effectue normalement et la gamelist se génere, mais je n'ai aucune image dans "downloaded_images". J'ai tout essayé, depuis la recalbox, depuis windows, et je n'ai aucun problème sauf avec la NES. Auriez vous une solution miracle?   Voici un aperçu du log:

[00:38:34] - ()Rom non trouve : Ice Climber (USA, Europe).zip [00:38:34] - Recuperation des informations de la Rom no 26 [00:38:35] - Fin de l'ecriture des informations de la Rom no 26 en 0.942s [00:38:35] - ()Rom non trouve : Kart Fighter (Unl).zip [00:38:35] - Recuperation des informations de la Rom no 27 [00:38:36] - Fin de l'ecriture des informations de la Rom no 27 en 0.968s [00:38:36] - ()Rom non trouve : Kirby's Adventure.zip [00:38:36] - Recuperation des informations de la Rom no 28 [00:38:37] - Fin de l'ecriture des informations de la Rom no 28 en 0.916s [00:38:37] - ()Rom non trouve : Legend of Zelda, The (USA).zip

[screech]

Je travail sur une nouvelle version beaucoup plus performante Elle devrait être prête ce soir (En plus j'ai découvert un petit bug sur les image justement, ça devrait peut être régler ton soucis )

[jomofcw]

Beau boulot @screech ! Si la version est dispo je ferais des tests dans la semaine et j'te donnerais un retour, si ça peut aider :-).

[reaver-seven]

Je serai ravi de pouvoir filer la main, car même les roms de snes il trouve pas les images >< alors que la GBA et  la Megadrive aucun probleme ^^   Edit: bon et bah suite a la maj les problèmes persistent toujours. Tant pis, je vais repasser sur le fullscrape.sh de l'autre tuto. C'est vraiment dommage car les snapshot et le programme sont bien fichus. Toutes mes roms sont issues de la box HFS, donc no intro.  Et que ce soit Snes et NES il ne veut rien trouver, qu'importe le format des jeux, j'ai tout éssayé 7z, zip, rar, format .nes ou Sfc etc... rien n'y fait.   Merci quand même!