[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[voljega]

Bon pour ma part j'essaye de repartir sur la nouvelle version avec les mêmes paramètres que précédents (cover only, pas de mix mode, anglais si possible) en espérant profiter des améliorations sur la recherche par nom et non plus par CRC uniquement. J'ai modifié le nouveau config.ini en inversant element 10 et 11 dans le profil Recalbox V4 et j'ai modifié les paths uniquement dans la dernière cible du fichier last use. ça donne donc : [ScreenScraper-Recalbox v4] $PATHAUTOCONF_PathRom    =\RECALBOX\share\roms $PATHAUTOCONF_PathRomSub=./ $PATHAUTOCONF_PathNew    =gamelist.xml $PATHAUTOCONF_PathImage    =downloaded_images $PATHAUTOCONF_PathImageSub=./downloaded_images/ $ExtImage        =jpg $OPTION_MAJ        =1 $IMAGE_SOURCE        = 'Screenscraper.jpg' $IMAGE_CIBLE        = 'RecalboxV4.jpg' $ELEMENT_1         = 'gameList|root|Data|root' $ELEMENT_2         = 'game|child|jeu|child' $ELEMENT_3         = 'id|attr:game|id|value' $ELEMENT_4         = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5         = 'path|value|%RomPath%|variable' $ELEMENT_6         = 'emulator|value' $ELEMENT_7         = 'core|value' $ELEMENT_8         = 'name|value|nom|value' $ELEMENT_9         = 'desc|value|synopsis/synopsis_%%|value' $ELEMENT_10         = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image' $ELEMENT_11         = 'image|path:image|medias/media_screenshot|path:image' $ELEMENT_12        = 'thumbnail|value' $ELEMENT_13        = 'rating|value100|note|value' $ELEMENT_14        = 'releasedate|value|dates/france|value' $ELEMENT_15        = 'releasedate|value|dates/europe|value' $ELEMENT_16        = 'releasedate|value|dates/usa|value' $ELEMENT_17        = 'releasedate|value|dates/japon|value' $ELEMENT_18        = 'developer|value|developpeur|value' $ELEMENT_19        = 'publisher|value|editeur|value' $ELEMENT_20        = 'genre|value|genres/genre|value' $ELEMENT_21        = 'players|value|joueurs|value' $ELEMENT_22        = 'favorite|value' $ELEMENT_23        = 'region|value' $ELEMENT_24        = 'romtype|value' $ELEMENT_25        = 'hidden|value' $ELEMENT_26        = 'playcount|value' $ELEMENT_27        = 'lastplayed|value' $ELEMENT_28        = 'crc32|value|%crc32%|variable' $ELEMENT_29        = 'md5|value|%md5%|variable' $ELEMENT_30        = 'sha1|value|%sha1%|variable' et [LAST_USE] $PathRom        =C:\Temp\Prov\recalboxroms\Atari - Lynx\ $PathRomSub        =./ $PathNew        =C:\Temp\Prov\recalboxroms\Atari - Lynx\gamelist.xml $PathImage        =C:\Temp\Prov\recalboxroms\Atari - Lynx\downloaded_images\ $PathImageSub    =./downloaded_images/ $No_Profil        =1 $user_lang        =0409 $HauteurImage        = $LargeurImage        = $EmptyRom        =0 $ScrapeMode        =0 $Autoconf_Use        =0 $MixImage        =Standard (3img)   Mes répertoires de roms sont donc en local (je dis ça parce que le profile semble référencer un chemin réseau), je veux scrapper uniquement le set Lynx no intro, et je n'ai pas activé l'auto conf dans le menu correspondant Après avoir choisi le profil V4 et lancer la détection des systèmes j'ai un gros crash avec l'erreur suivante  : Line 19421 dans Universal_XML_Scraper64.exe Error : Subscript used on non-accessible variable

[screech]

Hello,

@voljega : Alors c'est super bizarre, parce que j'ai fait exactement la même chose que toi (inversion des lignes 10 et 11)
j'ai même créé un répertoire en local avec quelques roms dedans que j'ai appelé "Atari – Lynx".
Je lui ai collé quelques roms (bon de Game gear parce que j'avais que ça sous la main ^^)
Et aucun problème, c'est passé tout seul...

Pourrais tu me donner la fin de ton fichier log (les 2 / 3 dernières lignes) ou même le fichier complet que je vois ou ça plante histoire que je comprenne pourquoi.
(même si tu peux le passer en verbose = 2 pour que le fichier soit plus complet)

Infos bonux, tes Roms sont en quels extension ? (Pour info, les fichiers *.txt *.dv *.fs *.xor *.drv *.dat *.nv sont ignorés)

@Supernature2k (et @Acris) : Je suppose que tu parles des roms sur screenscraper qui sont référencé en .rar (pas les tiennes ) du coup ma recherche par nom de fichier qui transforme en .zip est pas top
Je n'ai pas d'idée pour corriger le problème (hormis rajouter encore des requêtes API (en .rar, .7z, etc...) qui vont alourdir le soft et le site).
Je vais plutôt essayer de voir du coté de MarbleMad, s'il peut modifier le fonctionnement de l'API pour qu'il fasse une recherche du nom de fichier "sans extension".
C'est pas gagné (Marble est pas mal occupé en ce moment et c'est l'été ^^)
Donc à voir je vous tiens au courant
@lestatrico : Hésite pas à me tenir au courant (Parce que je n'ai pas réussi à obtenir de vrai expiration de délais je n'ai pu que en simuler en faisant une pause après le dl du fichier XML et en le supprimant ^^)

Question subsidiaire aux utilisateurs :
En fait, ça m'ennuis un peu (déformation professionnelle) de ne pas avoir de retour statistique (peu de retour malgré 1,392 téléchargements :S Merci à vous d’ailleurs ^^)
A votre avis, cela serait il gênant si en fin de scrape, j'alimente une base de donnée MySQL avec le résultat du scrape ?

Ce que je compte y stocker :

• Version d'UXS
• Nom du Profil utilisé
• Système scrapé
• Annulé/en Erreur(TimeOut)/finit normalement
• Nombre de fichier scrapé
• Nombre de fichier trouvé
• Nombre d'image downloadée.
• Potentiellement IP Publique du PC qui Scrape pour identifier le nombre réel d'utilisateur (bon c'est le seul élément à peu prêt fiable que j'ai trouvé pour identifier ce nombre. Même si avec une IP Dynamique ce ne sera pas si précis que ça. Et je n'ai pas envie de forcer la création d'un compte.)

L'idée serait après de faire une petite page Web pour afficher le résultat statistique en libre accès.
De toutes façon, le code sera toujours dispos sur Github et vous pourrez voir en live le contenue des requêtes (d'ailleurs par contre, il faut que je crypte le MDP de la base MySQL :S pour ne pas que ça apparaisse sur github je ne sais pas comment on fait ça ^^)
L'idée, c'est vraiment juste d'avoir un retour assez précis sans que ça deviennent un soft considéré comme une vérole qui vous pompe votre vie privé ^^ (Je m'appel pas google non plus ^^)

Du coup, je vous pose la question à vous utilisateur (bon on peut pas faire de sondage sur ce forum ^^):
Que pensez vous d'avoir des données statistique sur l'utilisation de UXS :

1. C'est inadmissible et ma vie privé alors !! (je n'ai pas envie que tout le monde sache que je n'ai que 2 jeux sur gameboy)
2. Je m'en fout royal fait ce que tu veux
3. C'est une excellente idée et ça m’intéresse aussi
4. Attention sa pourrait être mal vu...
5. La réponse 5

Merci à vous qui contribuez à faire avancer le soft

[supernature2k]

Hi @screech Clairement si tu fait une requête pour chaque extension possible, ça va faire lourd J'ai vu des .bin,.iso etc sur screenscraper. N'y a t'il pas moyen que l'API renvoie/check uniquement le nom avant l'extension? (genre fonction trimright ou que sais-je) Question complémentaire, comment fait on pour rajouter une rom sur une fiche de jeu sur screenscraper? J'ai pas trouvé Et enfin pour ton sondage, je réponds 3,4 et obi-wan kenobi

[screech]

C'est exactement ce que je compte demander à Marblemad
Pour ajouter des roms, tu peux prendre le fichier "Missing.txt" et l'envoyer à Marblemad (depuis le forum Screenzone) pour qu'il les rajoutes
(Au pire du pire, tu me l'envois et je ferais suivre ^^)
Réponse noté

[screech]

@Supernature2k C'est fait !!! Marblemad est trop efficace ^^ sitôt la demande faite sitôt c'est modifié ^^
Du coup j'ai refait une version

Maintenant lors de la recherche par nomdefichier, on ne s'encombre plus de l'extension ^^ un fichier rom en local en .7z pourra être trouvé en .iso sur le site screenscraper sans problème

Je te laisse tester : V1.3.0.9

[supernature2k]

Alors là... Je suis sur le cul Merci @screech et @marblemad Testé et approuvé (avec .rar en l'occurrence) Ah et je n'ai plus le problème en mode ajout de rom donc double congrats! Maintenant reste plus qu'à alimenter la base. J'essaie mais j'avoue avoir du mal Manque de tutos.

[acris]

Vectrex aucune trouvé

Armor Attack (1982).vec                                             B7510971            4 096    13:00.00 2002-12-31
Bedlam (1983).vec                                                   A2FA649B            4 096    15:00.00 2002-12-31
Berzerk (1982).vec                                                  EAFE2455            4 096    15:00.00 2002-12-31
Blitz! - Action Football (1982).vec                                 881B27C5            8 192    15:00.00 2002-12-31
Cosmic Chasm (1982).vec                                             6C1AFA52            4 096    19:38.00 1988-11-07
Fortress of Narzod (1982).vec                                       13A35C8A            8 192    15:00.00 2002-12-31
Hyperchase (1982).vec                                               4BB13472            4 096    19:38.00 1988-11-07
Mine Storm (1982).vec                                               BA13FB57            8 192    07:31.00 2016-07-13
Polar Rescue (1983).vec                                             A7471784            8 192    11:38.00 1988-11-07
Pole Position (1982).vec                                            A00ED3D6            8 192    15:00.00 2002-12-31
Rip-Off (1982).vec                                                  34A98132            4 096    15:00.00 2002-12-31
Solar Quest (1982).vec                                              5C4611C8            4 096    15:00.00 2002-12-31
Space Wars (1982).vec                                               A3BE5AFF            4 096    15:00.00 2002-12-31
Spike (1983).vec                                                    62A61843            8 192    15:00.00 2002-12-31
Web Wars (1983).vec                                                 2EE20103            8 192    15:00.00 2002-12-31

[courte]

Merçi pour ta derniere maj, je te verrais un retour concernant les dates de sorties dont on avait parlé. @SupernatureK: Tu est le bienvenue pour alimenté la base !! je te suggère d'aller faire un tour sur ce topic: http://www.screenzone.fr/forum/viewtopic.php?f=434&t=797 Mais si tu as besoin d'un truc ou autre demande moi, je suis moderateur sur Screenscraper et j'alimente la base de donnée depuis sa sortie donc je connais très bien le site et jte cache pas qu'on a besoin d'aide car il y beaucoup de taf et tout le monde est bienvenue ^^

[voljega]

@Screech Bon après installation de la version d'aujourd'hui et récupération des parties de mon ini intéressantes ça marche sans problème, chelou mais pas la peine de se prendre la tête donc ^^ Par contre j'ai de nouveau toutes les infos en majuscule c'est où que ça se règle ça déjà ? Pour la collecte des infos ça ne me gène pas mais je pense qu'il faut que tu mettes un disclaimer au premier lancement et que tu autorises l'utilisateur à accepter ou non.

[supernature2k]

@voljega, menu Edition>Configuration, tu décoches Majuscule en bas à droite @courte, et bien par exemple tout con, j'ai ajouté des infos pour crash bandicoot sur PSX mais je ne sais pas comment ajouter le nom de rom/hash (d'ailleurs faut que je trouve comment récupérer le hash d'un fichier). screech m'a proposé de lui envoyer les infos ou bien à marblemad. Peut être faut il des droits spéciaux pour le faire? @acris, renommes tes roms, la recherche par nom cherche le nom EXACT. Essaie par exemple de renommer Bedlam (1983).vec en Bedlam (USA, Europe).vec

[screech]

Pour @Acris : Effectivement ^^ tu cherches aussi
ils sont en .vec (donc pas compressé donc impossible à trouver via le CRC) et ils ont était renommé (donc impossible à retrouver par le nom de la rom)
Je vais te faire gagner du temps ^^ voici comment doivent s'appeler tes fichiers pour être scrapé (en plus j'avais complété le système Vectrex ^^ normalement tu auras un full scrape )

Armor Attack (1982).vec -> Armor..Attack (World).vec
Bedlam (1983).vec -> Bedlam (USA, Europe).vec
Berzerk (1982).vec -> Berzerk (World).vec
Blitz! - Action Football (1982).vec -> Blitz! - Action Football (USA, Europe) (0F11CE0C).vec
Cosmic Chasm (1982).vec -> Cosmic Chasm (World).vec
Fortress of Narzod (1982).vec -> Fortress of Narzod (USA, Europe).vec
Hyperchase (1982).vec -> HyperChase - Auto Race (World).vec
Mine Storm (1982).vec -> Mine Storm (World).vec
Polar Rescue (1983).vec -> Polar Rescue (USA).vec
Pole Position (1982).vec -> Pole Position (USA) (A00ED3D6).vec
Rip-Off (1982).vec -> Rip Off (World).vec
Solar Quest (1982).vec -> Solar Quest (World).vec
Space Wars (1982).vec -> Space Wars (World).vec
Spike (1983).vec -> Spike (USA, Europe).vec
Web Wars (1983).vec -> WebWars (USA).vec

@Voljega : C'est ça ^^ @Supernature2k va pouvoir faire ma hotline bientôt ^^

@Supernature2k concernant les roms/hash manquante sur Screenscraper, normalement, lorsque tu lance un scraper avec UXS, tu as un fichier missing.txt qui apparaît dans le répertoire scrappé.

Ce fichier contient : le nom du fichier de la rom, sa taille en octets, son Hash en CRC32 et sa date de dernière modif

C'est ce fichier qu'il faut envoyer à MarbleMad pour qu'il les ajoute C'est effectivement, une des rares choses qu'on ne peut pas faire directement

(Merci d'assurer le service après vente pendant mes absences ^^ )

[supernature2k]

Pas de soucis @screech, c'est que je commence à bien le connaitre ton soft Je vais voir pour créer un listing de roms manquantes. Où puis-je envoyer ça?

[voljega]

Sinon @Acris ne t'embête pas avec le renommage, le set no intro Vectrex se scrappe tout nickel avec UXS

[screech]

@Supernature2k je viens de demander à Marblemad comment il souhaite procéder je te tiens au courant

[acris]

@screech Je pensai kil aurait fait une recherche sur les 1ers mots avant la.parenthese. Cependant je viens de recuperer le set nointro et je narrivr pas à la scrapper. Jai un message d erreur line19421 Error subscript used on non acessible variable. Jai testé les 2 dernieres versions. @voljega jai recupere les autres roms nommées ainsi.

[voljega]

Ah tiens la même erreur que j'ai temporairement sur l'avant dernière version

[screech]

:S Je ne sais pas trop d'ou vient cette erreur :S Peut être le module de TimeOut (je vais checker)

[screech]

@Supernature2k voila la réponse de MarbleMad :

Il est prévu au final (pas encore eu le temps de m'en occuper) que la base de données des fichiers roms (et leur CRC) soit auto-alimenté par les requêtes API du scraper ! En attendant, il faut me contacter en MP pour que j'ajoute les packs de roms connu et reconnu (pas du fait maison perso) a screenscraper !

Donc en gros, la grosse question c'est : d'ou viennent les roms qui sont en missing ? (D'un site particulier, d'un romset particulier, c'est du fait maison, c'est trop underground ) enfin voila.

Du coup, rien ne t’empêche d'envoyer un MP à Marblemad (via screenzone) pour lui envoyer un fichier avec les roms manquantes en lui expliquant d'ou elles viennent ect

[voljega]

@Screech j'ai jamais essayé mais est ce que ton scraper gère les sous répertoires ds un réertoire de roms ? (Genre snes/shootemup snes/rpg etc)

[screech]

Malheureusement non... Pas pour le moment...

En fait j'ai bloqué la récursivité parce que ça fait des trucs bizarre ^^

Je dois pouvoir faire quelques modif pour que ça fonctionne, il faudrait que je me re-penche sur le sujet