[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[tporcaro]

Hello Screech, Juste pour te dire que j'ai à nouveau essayer de scrapper un romset grâce à ton soft en prenant bien soin de killer ES avant .. c'est de la bombe Merci encore pour ton travail et ton aide !

[screech]

@Acris, La dernière version est en beta elle cherche effectivement "tout" les fichiers présent dans le répertoire (à l’exception des fichiers .txt et .xml) Je vais rajouter (dans le fichier config.ini) la possibilité d'ajouter d'autre exception (je ne sais pas ce que c'est que les fichiers .dv, .fs, .xor, .drv :S) Du coup, les doublons sont cohérent avec le fonctionnement de cette beta (en plus il les trouve ^^ c'est bon signe en fait :p). Pour les multiples </release> c'est étrange, je vais regarder concernant les synopsis, je ne comprend pas... En plus ça fonctionne, dans l'exemple que tu me donne (les doublons), certains sont en US et d'autre en FR (c'est que ça marche). Je pense qu'il doit y avoir un soucis au niveau du CRC de ta rom qui du coup ne tombe pas forcement sur le jeu avec les synopsis (tu aurais un CRC pour que je vérifie ?) parce qu'hormis ça, je ne vois pas Pour les jeux manquant (la liste de 4 au début) il s'agit de quel système ? (FBA étant un émulateur pas un système, si je demande à MarbleMad de les ajouter, il faut qu'ils soient lié à une machine précise à moins que ce soit du MAME ?) En tout cas merci pour le retour je check au plus vite @tporcaro Merci pour le retour contant que ça marche ^^

[screech]

@Acris voila c'est corrigé v 1.3.0.3

• Correction du bug sur les synopsis US/FR (que j'avais réintroduit... désolé)
• Du coup, correction du bug sur les date de releases multiples
• Ajout d'un champs dans le fichier config pour gérer les exceptions. (De base les exceptions : *.xml *.txt *.dv *.fs *.xor *.drv )

Sortie de ces exceptions, le soft scan maintenant tous les fichiers du répertoire et essaye de trouver une correspondance... (Attention donc si vous avez 2 noms identiques, exemple : un .bin et un .cue il générera un doublon. Pensez donc à en mettre un des deux dans les exceptions.) Merci de me remonter les exceptions qu'il pourrait y avoir en standard pour que je les ajoutes. Du coup maintenant le soft est capable de scraper des répertoires non zippé (avec cependant moins de fiabilité puisqu'il se base sur le nom du fichier plutôt que le CRC dans ce cas.)

[acris]

Salut @screech

.xor, .drv

romset pour GnGeo-Pi, normalement ces fichiers ne devraient pas être là cependant , ça semble fonctionner avec fba libretro neogeo. *.fs je sais plus, faut un pro de l'arcade Je reteste demain matin.

[olivier-bazin]

Hello,   encore de merci pour ton boulot. J'ai l'impression que ça ne fonctionne pas pour l'Atari ST. Est-ce normal ?   merci.

[supernature2k]

@olivier-bazin, il faut que tu ai le romset no-intro pour que les roms soient reconnues sur screenscraper MAIS le romset no-intro n'est pas utilisable sur Recalbox car les roms dans les .zip sont au format .ipx non géré par Hatari. @screech, besoin de ton aide...encore J'ai modifié ton soft pour le forcer à afficher la liste des systèmes. Pourquoi? parce que j'aimerai bien avoir les boites pour neogeo AES et que par défaut il considère les roms comme étant Mame (ce qui est correct). Donc, je choisi AES comme système, il trouve bien les roms (recherche par nom ok puisque hash différent) mais pour la plupart des roms, il ne récupère que screenshot + wheel alors que la boite est bien présente sur screenscraper.fr Une idée? examples: Alors qu'il existe bien sur sc avec le même nom de rom: mslug5.zip

[screech]

@olivier-bazin Il me faudrait effectivement un peu plus de détail si tu pouvais me donner le nom (fichier.zip) et le CRC (tu trouveras le tout dans le fichier missing.txt) de 2 ou 3 roms non trouvées ça m'aiderais à voir pourquoi ça ne fonctionne pas @Supernature2k Pareil pourrais tu me filer le CRC de ton metalslug 5 ? Pour rappel : 1- Recherche par CRC sur le système choisi (déduit) 2- Recherche par CRC sur TOUS les système 3- Recherche par nom sur le système choisi (déduit) Donc dans ton cas : 1- Il ne trouve pas sur NEOGEO AES (pas le bon CRC) 2- Il trouve dans le système MAME (avec le bon CRC mais du coup sans boitier) 3- Il fait pas la recherche vu qu'il a trouvé avant ^^ Sinon, je vais ajouter une case à cocher pour désactiver la sélection automatique du système (comme ça vous pourrez choisir, le cas échéant, sur quel système vous voulez scraper vos roms.) Et peut être même la possibilité de choisir son mode de recherche. (P.S. Tu arrives à modifier mon soft ? cool ^^ c'est pas trop dégueux mon code... Y a pas des masses de commentaires ça doit pas aider ^^ Quand j'aurais le temps je ferais un peu de nettoyage la dedans :S)

[supernature2k]

@screech Ah!!!! Bah voilà j'ai la réponse! Effectivement il le trouve forcement dans Mame. Je sais pas comment te filer le CRC vu qu'il est pas dans "missing" mais bon de toutes façons c'est sûr que c'est ça. Je vais essayer de trouver le code à changer Pour forcer le choix du système il a fallu que je cherche quand même j'ai fait un truc à la dégueulasse: $I_SystemName = 0 à la ligne 1469 pour forcer le case. Allez, je replonge dans ton code

[supernature2k]

@screech, Success! J'ai viré le if ligne 1565 et en voiture Simone! Je me retrouve avec 9 missing qui ne doivent exister qu'en version MVS, Perfect! Une deuxième passe avec Mame en système et hop le tour est joué!

[screech]

@Supernature2k Je t'ais release une version 1.3.0.4 Ajout de 2 champs dans le fichier config.ini  (je les intégrerais plus tard dans la fenêtre de config ^^): $RechSYS = 1 ;Recherche automatique de système ;0 = Fenêtre de demande du nom de système ;1 = Recherche du nom de répertoire dans la liste de système+ fenêtre de demande si pas trouvé ;Par défaut dans le cas d'un scrape de tous les systèmes, le logiciel fera une recherche et s'il ne trouve pas fera les requêtes sans nom de système Du coup pour toi 0 te demandera systématiquement sur quel système scraper. $RechAPI = 1|2|3 ;Ordre de recherche de l'API ;1 = CRC + System ;2 = CRC ;3 = FileName + System _La, toutes les combinaisons sont possible : _ Juste 3 pour ne rechercher que par nom (Attention du coup à la précision des résultats) Juste 2|3 pour juste le CRC pour tous les systèmes et si pas trouvé le nom du fichier + le système ou 3|1|2 pour rechercher le nom + système si pas trouvé le CRC + système et si toujours pas trouvé le CRC tout seul

[jenovae]

Hello Screech, Tout d'abord merci pour ton superbe travail. En tant que simple utilisateur, dur dur de se rendre compte de la tâche effectuée! J'ai feuilleté un peu les 22 pages de commentaires, pour essayer de trouver réponse à mes questions/problèmes. Sans grand succès (j'ai peut-être loupé car à la fin c'était plus lecture d'1 ligne sur 10...). 1) Lorsque je scrape mon dossier de jeux, j'obtiens bien un dossier avec le images des jeux qu'il est parvenu à trouver sur Screenscraper. En revanche le xml créé reste vide. A noter que j'effectue ce travail sur un dossier  auquel n'est pas relié Recalbox. Je voulais ensuite mettre les jeux sur Recalbox une fois que tout était propre. D'où peut venir que le fichier xml ne se remplisse pas? 2) J'ai cru comprendre que changer le nom du jeu ne modifierai pas le fait qu'il ne trouve pas la correspondance dans la BDD de Screenscraper c'est bien ça? Il faut donc directement trouver des ROM correctes (via les set de ROMS existant, No-Intro et compagnie)? Merci d'avance pour le temps que tu prendras à me répondre. Séb.

[screech]

@Jenovae C'est assez bizarre qu'il créer le fichier mais ne mette rien dedans ? Peux tu me faire un copier collé de la partie [LAST USE] de ton fichier config.ini (tout à la fin) As-tu bien les droit en écriture sur le répertoire du xml ? (Question bête, tu es bien sous windows ? A priori, il peut y avoir des problèmes de ce type en utilisant WINE sou linux par exemple) Au pire, pour ton cas "spécial" je ferais une version qui fait plein de trace pour voir ou ça bloque Concernant la recherche de rom, elle se base en priorité sur le CRC (qui est un calcul fait sur ton fichier) modifier ton fichier change le CRC. Et donc peut empêcher sa détection. C'est pour cela qu'il est conseillé de prendre des roms "connues". Au pire, le logiciel cherche une correspondance sur le nom de la rom, mais il fait cette recherche entre le nom du fichier et les fichiers référencé sur screenscraper. Donc pareil, si ton fichier à un nom un peu "exotique" il risque de ne pas le trouver. Tiens moi au courant

[jenovae]

Salut Screech, Je te remercie pour ton temps, j'ai refait du coup un à l'instant avec un nouveau ROMset (No-Intro). Et là magie le XML est bien rempli (malgré 5-6 tests hier sans succès, peut-être un ROMset pourri...). J'ai aussi déplacé le programme Universal_WML_Scraper dans le dossier où je stocke mes ROMS pour ce test (sur le HDD externe). Peut-être que cela vient de là... Bon je te mets quand même le [LAST_USE] du fichier config.ini d'hier (que j'avais gardé de côté au cas où), peut-être y trouveras-tu quelque piste!

[LAST_USE]
$PathRom =\\VBOXSVR\Emulation\SoftWare\ROMS\Propre\MegaDrive\
$PathRomSub =./
$PathNew =\\VBOXSVR\Emulation\SoftWare\ROMS\Propre\MegaDrive\gamelist.xml
$PathImage =\\VBOXSVR\Emulation\SoftWare\ROMS\Propre\MegaDrive\downloaded_images\
$PathImageSub =./downloaded_images/
$No_Profil =1
$user_lang =040c
$HauteurImage =
$LargeurImage =
$EmptyRom =0
$ScrapeMode =0
$Autoconf_Use =1
$MixImage =Standard (3img)

[screech]

Effectivement tout à l'air d’être correct dans ton fichier config. Les chemin semble OK. Je pense qu'il y avait un problème de droit en écriture. Tu l'avais mis ou Le soft lors de tes premier essaies ? (Il est possible que ça ne marche pas si bien que ça quand il est mis dans le répertoire program files... Au pire, faut essayer de le lancer en admin En tout cas cool que ça marche

[acris]

Salut bravo pour cette version tjs des manquantes pour fba

fba_0.2.97.37.dat                                                   CDDC37FD        5 549 630    22:00.00 1979-12-31
gpriders.zip                                                        9F8CE139        1 562 370    06:49.00 2015-11-26
leds2011.zip                                                        9DEC6B12          747 982    11:08.00 2015-11-07
ltswords.zip                                                        7E068894          712 855    10:57.00 2015-11-07
timesupd.zip                                                        CBE1DE19        4 170 498    10:58.00 2015-11-07

Extensions à ajouter par défaut aussi je pense : *.dat , *.nv (fichier de configuration arcade)

[screech]

C'est ajouté sur la derniere version pour les exclusions Pour gpriders.zip Effectivement, il n'existe pas sur screenscraper, en attendant, tu peux le renommer en grprider.zip (sans le s à la fin) il le trouvera Pareil pour timesupd.zip essaye avec timesup.zip ( meme s'il n'y a aucune info sur ce jeu et qu'à priori c'est une demo ) pour les autres les jeux ne sont pas référencé du tout Il faut donc améliorer screenscraper et les faire ajouter

[jenovae]

Oui peut -être un problème de droits. Lors des premiers tests, il était resté dans le dossier de téléchargement, et il effectuait le scrap sur le dossier de ROM d'un disque dur externe. Ce matin j'ai déplacé les .exe directement sur le disque dur externe et aucun soucis. Et quel plaisir d'avoir un ROMset propre et de voir que la totalité des ROM a pu être scrapée ^^ Bon courage pour la suite, je continue d'utiliser tes outils pour me faire une bibliothèque niquel chrome!

[androsyn]

Salut moi je n'arrive a rien du tous avec le logiciel. J'ai toujours le message "Le chemin des Roms n'est pas accessible" alors que bien evidement via l'explorateur sa fonctionne. voici mon fichier UXS-config.ini

[LAST_USE] $PathRom =\RECALBOX\share\roms\psx\ $PathRomSub =./ $PathNew =\RECALBOX\share\roms\psx\gamelist.xml $PathImage =\RECALBOX\share\roms\psx\downloaded_images\ $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang =040c $HauteurImage = $LargeurImage = $EmptyRom =0 $ScrapeMode =0 $Autoconf_Use =1 $MixImage =Standard (3img)

[screech]

Ta config semble correcte, il te met ce message au demarrage ? Dans ce cas, il s'agit du chemin de l'auto config qui n'est pas bon... Dans le menu de configuration, en haut à droite, mets :\RECALBOX\share\roms\ dans la premiere case (Au pire, désactive l'autoconfig) Sinon, pour lancer le scrape, c'est le bouton central de l'interface (la flèche) qu'il faut cliquer, si ça te remet le message c'est un problème de droit d'accès du logiciel au répertoire des roms. Essaye de le lancer en administrateur (SHIFT + CLIC droit)

[androsyn]

Toujours le même problème même en administrateur, il me met sa quand je veut scraper en cliquant sur la flèche verte