[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
Hello
@lestatrico J'ai regardé ton log et le plantage à lieu au moment de récupérer les données sur le site screenscraper pour le jeu ucops.zip.
J'ai chécké, le jeu existe bien, bon pas ton CRC mais il aurait du le trouver via la requête sur le nom du fichier (parce que lui existe bien).
Je confirme donc qu'il s'agit d'un Time Out...ça ne m’étais encore jamais arrivé et du coup, je ne sais pas trop comment réagis le logiciel.
Je vais essayer de mettre des verrous la dessus pour ne pas que ça plante.
Juste pour mon info, le soft te dit quoi ? Il y a un message d'erreur ? Il reste figé ? Il disparaît ?
Je reviens rapidement avec une version corrigé
(Pour info, si le logiciel ne plante pas mais te génère un XML "partiel" avec juste les premiers jeux, ne relance pas un full scrape, tu vas dans la config et tu coche "Ajout de Rom" dans la configuration. Il n'ajoutera que les roms manquantes
) -
Salut screech, A propos du message d'erreur, il n'y en pas vraiment, c'est le programme qui se fige, et quand on cherche a le réveiller, il met "universal scrapper ne réponds pas" et je n'ai pas d'autre choix que de forcer la fermeture du programme par le gestionnaire de tache. Je ne te cache pas que j'ai pas vérifier si le .xml était généré mais je ne pense pas car quand je voulais vérifier, la liste apparaissait comme avant, mais merci pour l'info "ajout de rom", ca va surement me servir. Sinon j'ai retenter le scrap plusieurs fois hier, et cela a fonctionné, j'ai enfin mon scrap de jeux Mame et c'était le dernier qui me manquait. Merci Screech en tout cas pour ces petits programmes qui nous font gagner un temps fou et si je peux aider ou faire quelques test, n'hésite pas
-
Et voila, j'ai ajouté un gestionnaire de timeout.
Du coup, maintenant si c'est ça, ça ne plantera plus logiciel (équivalent à un annuler encours de route donc les rom scrapées seront bien présente dans le fichier XML, il suffira de relancer le scrape en mode "ajout de nouvelle Rom" pour qu'il continue) et surtout ça affichera un petit message pour prévenir du TimeoutHésite pas à re-tester @lestatrico
-
Je télécharge ca direct, et je ferai quelques test en debut de semaine prochaine, vu le temps qu'il fait, Ce week end c'est camping. Merci encore Screech
-
Hi @screech, Tu as corrigé le bug du mode ajout de rom dans cette version? Et j'ai trouvé un nouveau pb entre ton soft et screenscraper... les .rar
-
*.rar ne sont pas pris en charge sous recalbox. Il est préférable d utiliser zip
-
Bon pour ma part j'essaye de repartir sur la nouvelle version avec les mêmes paramètres que précédents (cover only, pas de mix mode, anglais si possible) en espérant profiter des améliorations sur la recherche par nom et non plus par CRC uniquement. J'ai modifié le nouveau config.ini en inversant element 10 et 11 dans le profil Recalbox V4 et j'ai modifié les paths uniquement dans la dernière cible du fichier last use. ça donne donc : [ScreenScraper-Recalbox v4] $PATHAUTOCONF_PathRom =\RECALBOX\share\roms $PATHAUTOCONF_PathRomSub=./ $PATHAUTOCONF_PathNew =gamelist.xml $PATHAUTOCONF_PathImage =downloaded_images $PATHAUTOCONF_PathImageSub=./downloaded_images/ $ExtImage =jpg $OPTION_MAJ =1 $IMAGE_SOURCE = 'Screenscraper.jpg' $IMAGE_CIBLE = 'RecalboxV4.jpg' $ELEMENT_1 = 'gameList|root|Data|root' $ELEMENT_2 = 'game|child|jeu|child' $ELEMENT_3 = 'id|attr:game|id|value' $ELEMENT_4 = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5 = 'path|value|%RomPath%|variable' $ELEMENT_6 = 'emulator|value' $ELEMENT_7 = 'core|value' $ELEMENT_8 = 'name|value|nom|value' $ELEMENT_9 = 'desc|value|synopsis/synopsis_%%|value' $ELEMENT_10 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image' $ELEMENT_11 = 'image|path:image|medias/media_screenshot|path:image' $ELEMENT_12 = 'thumbnail|value' $ELEMENT_13 = 'rating|value100|note|value' $ELEMENT_14 = 'releasedate|value|dates/france|value' $ELEMENT_15 = 'releasedate|value|dates/europe|value' $ELEMENT_16 = 'releasedate|value|dates/usa|value' $ELEMENT_17 = 'releasedate|value|dates/japon|value' $ELEMENT_18 = 'developer|value|developpeur|value' $ELEMENT_19 = 'publisher|value|editeur|value' $ELEMENT_20 = 'genre|value|genres/genre|value' $ELEMENT_21 = 'players|value|joueurs|value' $ELEMENT_22 = 'favorite|value' $ELEMENT_23 = 'region|value' $ELEMENT_24 = 'romtype|value' $ELEMENT_25 = 'hidden|value' $ELEMENT_26 = 'playcount|value' $ELEMENT_27 = 'lastplayed|value' $ELEMENT_28 = 'crc32|value|%crc32%|variable' $ELEMENT_29 = 'md5|value|%md5%|variable' $ELEMENT_30 = 'sha1|value|%sha1%|variable' et [LAST_USE] $PathRom =C:\Temp\Prov\recalboxroms\Atari - Lynx\ $PathRomSub =./ $PathNew =C:\Temp\Prov\recalboxroms\Atari - Lynx\gamelist.xml $PathImage =C:\Temp\Prov\recalboxroms\Atari - Lynx\downloaded_images\ $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang =0409 $HauteurImage = $LargeurImage = $EmptyRom =0 $ScrapeMode =0 $Autoconf_Use =0 $MixImage =Standard (3img) Mes répertoires de roms sont donc en local (je dis ça parce que le profile semble référencer un chemin réseau), je veux scrapper uniquement le set Lynx no intro, et je n'ai pas activé l'auto conf dans le menu correspondant Après avoir choisi le profil V4 et lancer la détection des systèmes j'ai un gros crash avec l'erreur suivante : Line 19421 dans Universal_XML_Scraper64.exe Error : Subscript used on non-accessible variable
-
Hello,
@voljega : Alors c'est super bizarre, parce que j'ai fait exactement la même chose que toi (inversion des lignes 10 et 11)
j'ai même créé un répertoire en local avec quelques roms dedans que j'ai appelé "Atari – Lynx".
Je lui ai collé quelques roms (bon de Game gear parce que j'avais que ça sous la main ^^)
Et aucun problème, c'est passé tout seul...Pourrais tu me donner la fin de ton fichier log (les 2 / 3 dernières lignes) ou même le fichier complet que je vois ou ça plante histoire que je comprenne pourquoi.
(même si tu peux le passer en verbose = 2 pour que le fichier soit plus complet)Infos bonux, tes Roms sont en quels extension ? (Pour info, les fichiers *.txt *.dv *.fs *.xor *.drv *.dat *.nv sont ignorés)
@Supernature2k (et @Acris) : Je suppose que tu parles des roms sur screenscraper qui sont référencé en .rar (pas les tiennes
) du coup ma recherche par nom de fichier qui transforme en .zip est pas top
Je n'ai pas d'idée pour corriger le problème (hormis rajouter encore des requêtes API (en .rar, .7z, etc...) qui vont alourdir le soft et le site).
Je vais plutôt essayer de voir du coté de MarbleMad, s'il peut modifier le fonctionnement de l'API pour qu'il fasse une recherche du nom de fichier "sans extension".
C'est pas gagné (Marble est pas mal occupé en ce moment et c'est l'été ^^)
Donc à voir je vous tiens au courant 
@lestatrico : Hésite pas à me tenir au courant (Parce que je n'ai pas réussi à obtenir de vrai expiration de délais je n'ai pu que en simuler en faisant une pause après le dl du fichier XML et en le supprimant ^^)Question subsidiaire aux utilisateurs :
En fait, ça m'ennuis un peu (déformation professionnelle) de ne pas avoir de retour statistique (peu de retour malgré 1,392 téléchargements :S Merci à vous d’ailleurs ^^)
A votre avis, cela serait il gênant si en fin de scrape, j'alimente une base de donnée MySQL avec le résultat du scrape ?Ce que je compte y stocker :
- Version d'UXS
- Nom du Profil utilisé
- Système scrapé
- Annulé/en Erreur(TimeOut)/finit normalement
- Nombre de fichier scrapé
- Nombre de fichier trouvé
- Nombre d'image downloadée.
- Potentiellement IP Publique du PC qui Scrape pour identifier le nombre réel d'utilisateur (bon c'est le seul élément à peu prêt fiable que j'ai trouvé pour identifier ce nombre. Même si avec une IP Dynamique ce ne sera pas si précis que ça. Et je n'ai pas envie de forcer la création d'un compte.)
L'idée serait après de faire une petite page Web pour afficher le résultat statistique en libre accès.
De toutes façon, le code sera toujours dispos sur Github et vous pourrez voir en live le contenue des requêtes (d'ailleurs par contre, il faut que je crypte le MDP de la base MySQL :S pour ne pas que ça apparaisse sur github je ne sais pas comment on fait ça ^^)
L'idée, c'est vraiment juste d'avoir un retour assez précis sans que ça deviennent un soft considéré comme une vérole qui vous pompe votre vie privé ^^ (Je m'appel pas google non plus ^^)Du coup, je vous pose la question à vous utilisateur (bon on peut pas faire de sondage sur ce forum ^^):
Que pensez vous d'avoir des données statistique sur l'utilisation de UXS :- C'est inadmissible et ma vie privé alors !! (je n'ai pas envie que tout le monde sache que je n'ai que 2 jeux sur gameboy)
- Je m'en fout royal fait ce que tu veux
- C'est une excellente idée et ça m’intéresse aussi
- Attention sa pourrait être mal vu...
- La réponse 5
Merci à vous qui contribuez à faire avancer le soft
-
Hi @screech Clairement si tu fait une requête pour chaque extension possible, ça va faire lourd
J'ai vu des .bin,.iso etc sur screenscraper. N'y a t'il pas moyen que l'API renvoie/check uniquement le nom avant l'extension? (genre fonction trimright ou que sais-je) Question complémentaire, comment fait on pour rajouter une rom sur une fiche de jeu sur screenscraper? J'ai pas trouvé 
Et enfin pour ton sondage, je réponds 3,4 et obi-wan kenobi -
C'est exactement ce que je compte demander à Marblemad
Pour ajouter des roms, tu peux prendre le fichier "Missing.txt" et l'envoyer à Marblemad (depuis le forum Screenzone) pour qu'il les rajoutes
(Au pire du pire, tu me l'envois et je ferais suivre ^^)
Réponse noté -
@Supernature2k C'est fait !!! Marblemad est trop efficace ^^ sitôt la demande faite sitôt c'est modifié ^^
Du coup j'ai refait une versionMaintenant lors de la recherche par nomdefichier, on ne s'encombre plus de l'extension ^^ un fichier rom en local en .7z pourra être trouvé en .iso sur le site screenscraper sans problème
Je te laisse tester : V1.3.0.9
-
Alors là... Je suis sur le cul
Merci @screech et @marblemad Testé et approuvé (avec .rar en l'occurrence) Ah et je n'ai plus le problème en mode ajout de rom donc double congrats! Maintenant reste plus qu'à alimenter la base. J'essaie mais j'avoue avoir du mal Manque de tutos. -
Vectrex aucune trouvé
Armor Attack (1982).vec B7510971 4 096 13:00.00 2002-12-31 Bedlam (1983).vec A2FA649B 4 096 15:00.00 2002-12-31 Berzerk (1982).vec EAFE2455 4 096 15:00.00 2002-12-31 Blitz! - Action Football (1982).vec 881B27C5 8 192 15:00.00 2002-12-31 Cosmic Chasm (1982).vec 6C1AFA52 4 096 19:38.00 1988-11-07 Fortress of Narzod (1982).vec 13A35C8A 8 192 15:00.00 2002-12-31 Hyperchase (1982).vec 4BB13472 4 096 19:38.00 1988-11-07 Mine Storm (1982).vec BA13FB57 8 192 07:31.00 2016-07-13 Polar Rescue (1983).vec A7471784 8 192 11:38.00 1988-11-07 Pole Position (1982).vec A00ED3D6 8 192 15:00.00 2002-12-31 Rip-Off (1982).vec 34A98132 4 096 15:00.00 2002-12-31 Solar Quest (1982).vec 5C4611C8 4 096 15:00.00 2002-12-31 Space Wars (1982).vec A3BE5AFF 4 096 15:00.00 2002-12-31 Spike (1983).vec 62A61843 8 192 15:00.00 2002-12-31 Web Wars (1983).vec 2EE20103 8 192 15:00.00 2002-12-31 -
Merçi pour ta derniere maj, je te verrais un retour concernant les dates de sorties dont on avait parlé. @SupernatureK: Tu est le bienvenue pour alimenté la base !! je te suggère d'aller faire un tour sur ce topic: http://www.screenzone.fr/forum/viewtopic.php?f=434&t=797 Mais si tu as besoin d'un truc ou autre demande moi, je suis moderateur sur Screenscraper et j'alimente la base de donnée depuis sa sortie donc je connais très bien le site et jte cache pas qu'on a besoin d'aide car il y beaucoup de taf et tout le monde est bienvenue ^^
-
@Screech Bon après installation de la version d'aujourd'hui et récupération des parties de mon ini intéressantes ça marche sans problème, chelou mais pas la peine de se prendre la tête donc ^^ Par contre j'ai de nouveau toutes les infos en majuscule c'est où que ça se règle ça déjà ? Pour la collecte des infos ça ne me gène pas mais je pense qu'il faut que tu mettes un disclaimer au premier lancement et que tu autorises l'utilisateur à accepter ou non.
-
@voljega, menu Edition>Configuration, tu décoches Majuscule en bas à droite
@courte, et bien par exemple tout con, j'ai ajouté des infos pour crash bandicoot sur PSX mais je ne sais pas comment ajouter le nom de rom/hash (d'ailleurs faut que je trouve comment récupérer le hash d'un fichier). screech m'a proposé de lui envoyer les infos ou bien à marblemad. Peut être faut il des droits spéciaux pour le faire? @acris, renommes tes roms, la recherche par nom cherche le nom EXACT. Essaie par exemple de renommer Bedlam (1983).vec en Bedlam (USA, Europe).vec -
Pour @Acris : Effectivement ^^ tu cherches aussi
ils sont en .vec (donc pas compressé donc impossible à trouver via le CRC) et ils ont était renommé (donc impossible à retrouver par le nom de la rom)
Je vais te faire gagner du temps ^^ voici comment doivent s'appeler tes fichiers pour être scrapé (en plus j'avais complété le système Vectrex ^^ normalement tu auras un full scrape )Armor Attack (1982).vec -> Armor..Attack (World).vec Bedlam (1983).vec -> Bedlam (USA, Europe).vec Berzerk (1982).vec -> Berzerk (World).vec Blitz! - Action Football (1982).vec -> Blitz! - Action Football (USA, Europe) (0F11CE0C).vec Cosmic Chasm (1982).vec -> Cosmic Chasm (World).vec Fortress of Narzod (1982).vec -> Fortress of Narzod (USA, Europe).vec Hyperchase (1982).vec -> HyperChase - Auto Race (World).vec Mine Storm (1982).vec -> Mine Storm (World).vec Polar Rescue (1983).vec -> Polar Rescue (USA).vec Pole Position (1982).vec -> Pole Position (USA) (A00ED3D6).vec Rip-Off (1982).vec -> Rip Off (World).vec Solar Quest (1982).vec -> Solar Quest (World).vec Space Wars (1982).vec -> Space Wars (World).vec Spike (1983).vec -> Spike (USA, Europe).vec Web Wars (1983).vec -> WebWars (USA).vec@Voljega : C'est ça ^^ @Supernature2k va pouvoir faire ma hotline bientôt ^^
@Supernature2k concernant les roms/hash manquante sur Screenscraper, normalement, lorsque tu lance un scraper avec UXS, tu as un fichier missing.txt qui apparaît dans le répertoire scrappé.
Ce fichier contient : le nom du fichier de la rom, sa taille en octets, son Hash en CRC32 et sa date de dernière modif
C'est ce fichier qu'il faut envoyer à MarbleMad pour qu'il les ajoute
C'est effectivement, une des rares choses qu'on ne peut pas faire directement (Merci d'assurer le service après vente pendant mes absences ^^ )
-
Pas de soucis @screech, c'est que je commence à bien le connaitre ton soft
Je vais voir pour créer un listing de roms manquantes. Où puis-je envoyer ça? -
Sinon @Acris ne t'embête pas avec le renommage, le set no intro Vectrex se scrappe tout nickel avec UXS
-
@Supernature2k je viens de demander à Marblemad comment il souhaite procéder
je te tiens au courant
