[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
Arg... Effectivement, comme je convertis (pour la recherche par nom) le nom du fichier en .zip, il zap les fichiers en .7z Il faut que je vois comment faire (rajouter encore une requête API ç va commencer à faire beaucoup de requête
c'est pas cool pour Screenscraper) -
salut screech, J'ai un petit souci avec le soft, il y a des répertoires que je n'arrive pas a scrapper en reseau et en direct sur mon pc. Je lance le programme, je lui dit quel répertoire scanné, il commence le travail, mais arrivez a un certains moment, le programme ne réponds pas... J'ai teste âpres conseil en direct sur mon pc, même résultat, il n'arrive pas a terminer le scrappe et plante. Je ne sais plus quoi essayé pour que cela fonctionne, il ne me reste que le dossier FBA, le dossier MAME, et le dossier WonderColor pour terminer le scrapping, et ca fait plus d'une semaine que je galère a essayer de trouver la bonne méthode, mais rien n'y fait. Pour le dossier de la WonderColor, le souci est différent, et je t'avoue ne pas m’être penché dessus pour le moment, mais pour ce dossier, le scrapping se passe bien, sauf qu'a la fin il me dit qu'il n'a pas trouve de jaquettes etc, 0/92, mais pas de message d'erreur et pas de plantage pour cet émulateur. En espérant que tu puisse m'aider a comprendre ou le bas blesse, je te souhaite une bonne journée
-
Hello @lestatrico Alors j’étais sur le site Screenscraper cette après midi (mise à jour de la Gamegear ^^ je me rapproche petit à petit du 100% ^^) et j'ai eu quelques ralentissement. Il est possible que ce soit du à un Time Out (c’était toi qui faisait ramer le site
!!! ) c'est vrai que c'est un point que je n'ai pas géré dans le scrape. Il faudrait retenter pour voir ? Sinon, tu passes dans le fichier UXS-config.ini et tu mets verbose=2 Cela va ralentir le scrape mais générera un fichier log plus complet. Si ça plante encore, tu post le fichier log ici pour que je vois ou ça s’arrête et que je check Sinon, concernant la WonderSwan Color, tu as bien un romset No Intro ? Il est possible que ce soit ça qui bloque. C'est une "petit" système et il est possible qu'aucune rom ne soit reconnue à cause de ça. Regarde si tu as un fichier missing.txt dans le répertoire de scrape et tu me copie/colle une ou deux ligne histoire que je check pourquoi il trouve rien Bon courage -
Merci pour ta réponse rapide, la mienne l'est moins ^^ J'ai mit verdose=2 et plus de souci jusque la, il me reste mame a tester, mais je ferai ca demain, il est tard. Je te tiens au courant et merci encore. Bonne soirée
-
Repasse le à 1 (voir à 0) Explication : Verbose = 0 pas de log Verbose = 1 log light Verbose = 2 log complet (qui du coup ralentie pas mal le scrape) Si tu n'as pas eu de problème lors du nouveau scrape, cela confirme surement les problèmes d'expirations de délais sur le site
-
Hop une nouvelle release v1.3.0.7 Il y avait un bug lorsque la 1ere rom n’était pas trouvé... Il ne mettait rien dans le fichier XML malgré un scrape correct d'autre Roms
-
Salut Screech, Pour commencer, merci pour la nouvelle release
Je n'ai pas eu trop de temps aujourd'hui, et viens juste de rentrer, j'ai lancer il y a quelques minutes le scrap du répertoire mame, et pour le moment, ca scrappe correctement, je viens éditer mon message des que celui ci est terminé pour te tenir au courant, mais comme tu l'a dit, il est fort possible que les bugs soit lié au site. je vais remettre verdose a 1 après ce scrap et je ferai quelques essai voir ce que ca donne et je te ferai mon rapport ;). -
Bon bah désolé screech, je ne sais pas ce qui se passe, je n'arrive pas a éditer mon post d'une part, et de l'autre, meme quand je refait un post et que je tente de poster mon fichier log.txt, cela échoue, mon message ne se poste pas. Cela fait déja deux fois ou mon message s'en va dans les nuages. Je ne vois pas comment faire pour t'envoyer mon log, car le scrap du fichier mame a planté a 2375/2555... c'est con ^^' Si tu as une idée de comment je dois faire pour pouvoir te poster mon log.txt (9 Mo au passage donc il doit passer), je suis preneur.
-
Tu peux le zipper et me l'envoyer à screech @ free.fr (sans les espaces
) je regarderais ça -
Bonjour pour poster des contenus de texte soit directement dans un sujet soit en utilisant le site pastebin.com
-
Merci acris, jai testé aussi par pastebin, mais mon fichier est trop gros et il me demande de créer un compte pro. Le fichier est envoyé a screech, on va attendre l'avis du medecin :p.
-
Hello
@lestatrico J'ai regardé ton log et le plantage à lieu au moment de récupérer les données sur le site screenscraper pour le jeu ucops.zip.
J'ai chécké, le jeu existe bien, bon pas ton CRC mais il aurait du le trouver via la requête sur le nom du fichier (parce que lui existe bien).
Je confirme donc qu'il s'agit d'un Time Out...ça ne m’étais encore jamais arrivé et du coup, je ne sais pas trop comment réagis le logiciel.
Je vais essayer de mettre des verrous la dessus pour ne pas que ça plante.
Juste pour mon info, le soft te dit quoi ? Il y a un message d'erreur ? Il reste figé ? Il disparaît ?
Je reviens rapidement avec une version corrigé
(Pour info, si le logiciel ne plante pas mais te génère un XML "partiel" avec juste les premiers jeux, ne relance pas un full scrape, tu vas dans la config et tu coche "Ajout de Rom" dans la configuration. Il n'ajoutera que les roms manquantes
) -
Salut screech, A propos du message d'erreur, il n'y en pas vraiment, c'est le programme qui se fige, et quand on cherche a le réveiller, il met "universal scrapper ne réponds pas" et je n'ai pas d'autre choix que de forcer la fermeture du programme par le gestionnaire de tache. Je ne te cache pas que j'ai pas vérifier si le .xml était généré mais je ne pense pas car quand je voulais vérifier, la liste apparaissait comme avant, mais merci pour l'info "ajout de rom", ca va surement me servir. Sinon j'ai retenter le scrap plusieurs fois hier, et cela a fonctionné, j'ai enfin mon scrap de jeux Mame et c'était le dernier qui me manquait. Merci Screech en tout cas pour ces petits programmes qui nous font gagner un temps fou et si je peux aider ou faire quelques test, n'hésite pas
-
Et voila, j'ai ajouté un gestionnaire de timeout.
Du coup, maintenant si c'est ça, ça ne plantera plus logiciel (équivalent à un annuler encours de route donc les rom scrapées seront bien présente dans le fichier XML, il suffira de relancer le scrape en mode "ajout de nouvelle Rom" pour qu'il continue) et surtout ça affichera un petit message pour prévenir du TimeoutHésite pas à re-tester @lestatrico
-
Je télécharge ca direct, et je ferai quelques test en debut de semaine prochaine, vu le temps qu'il fait, Ce week end c'est camping. Merci encore Screech
-
Hi @screech, Tu as corrigé le bug du mode ajout de rom dans cette version? Et j'ai trouvé un nouveau pb entre ton soft et screenscraper... les .rar
-
*.rar ne sont pas pris en charge sous recalbox. Il est préférable d utiliser zip
-
Bon pour ma part j'essaye de repartir sur la nouvelle version avec les mêmes paramètres que précédents (cover only, pas de mix mode, anglais si possible) en espérant profiter des améliorations sur la recherche par nom et non plus par CRC uniquement. J'ai modifié le nouveau config.ini en inversant element 10 et 11 dans le profil Recalbox V4 et j'ai modifié les paths uniquement dans la dernière cible du fichier last use. ça donne donc : [ScreenScraper-Recalbox v4] $PATHAUTOCONF_PathRom =\RECALBOX\share\roms $PATHAUTOCONF_PathRomSub=./ $PATHAUTOCONF_PathNew =gamelist.xml $PATHAUTOCONF_PathImage =downloaded_images $PATHAUTOCONF_PathImageSub=./downloaded_images/ $ExtImage =jpg $OPTION_MAJ =1 $IMAGE_SOURCE = 'Screenscraper.jpg' $IMAGE_CIBLE = 'RecalboxV4.jpg' $ELEMENT_1 = 'gameList|root|Data|root' $ELEMENT_2 = 'game|child|jeu|child' $ELEMENT_3 = 'id|attr:game|id|value' $ELEMENT_4 = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5 = 'path|value|%RomPath%|variable' $ELEMENT_6 = 'emulator|value' $ELEMENT_7 = 'core|value' $ELEMENT_8 = 'name|value|nom|value' $ELEMENT_9 = 'desc|value|synopsis/synopsis_%%|value' $ELEMENT_10 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image' $ELEMENT_11 = 'image|path:image|medias/media_screenshot|path:image' $ELEMENT_12 = 'thumbnail|value' $ELEMENT_13 = 'rating|value100|note|value' $ELEMENT_14 = 'releasedate|value|dates/france|value' $ELEMENT_15 = 'releasedate|value|dates/europe|value' $ELEMENT_16 = 'releasedate|value|dates/usa|value' $ELEMENT_17 = 'releasedate|value|dates/japon|value' $ELEMENT_18 = 'developer|value|developpeur|value' $ELEMENT_19 = 'publisher|value|editeur|value' $ELEMENT_20 = 'genre|value|genres/genre|value' $ELEMENT_21 = 'players|value|joueurs|value' $ELEMENT_22 = 'favorite|value' $ELEMENT_23 = 'region|value' $ELEMENT_24 = 'romtype|value' $ELEMENT_25 = 'hidden|value' $ELEMENT_26 = 'playcount|value' $ELEMENT_27 = 'lastplayed|value' $ELEMENT_28 = 'crc32|value|%crc32%|variable' $ELEMENT_29 = 'md5|value|%md5%|variable' $ELEMENT_30 = 'sha1|value|%sha1%|variable' et [LAST_USE] $PathRom =C:\Temp\Prov\recalboxroms\Atari - Lynx\ $PathRomSub =./ $PathNew =C:\Temp\Prov\recalboxroms\Atari - Lynx\gamelist.xml $PathImage =C:\Temp\Prov\recalboxroms\Atari - Lynx\downloaded_images\ $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang =0409 $HauteurImage = $LargeurImage = $EmptyRom =0 $ScrapeMode =0 $Autoconf_Use =0 $MixImage =Standard (3img) Mes répertoires de roms sont donc en local (je dis ça parce que le profile semble référencer un chemin réseau), je veux scrapper uniquement le set Lynx no intro, et je n'ai pas activé l'auto conf dans le menu correspondant Après avoir choisi le profil V4 et lancer la détection des systèmes j'ai un gros crash avec l'erreur suivante : Line 19421 dans Universal_XML_Scraper64.exe Error : Subscript used on non-accessible variable
-
Hello,
@voljega : Alors c'est super bizarre, parce que j'ai fait exactement la même chose que toi (inversion des lignes 10 et 11)
j'ai même créé un répertoire en local avec quelques roms dedans que j'ai appelé "Atari – Lynx".
Je lui ai collé quelques roms (bon de Game gear parce que j'avais que ça sous la main ^^)
Et aucun problème, c'est passé tout seul...Pourrais tu me donner la fin de ton fichier log (les 2 / 3 dernières lignes) ou même le fichier complet que je vois ou ça plante histoire que je comprenne pourquoi.
(même si tu peux le passer en verbose = 2 pour que le fichier soit plus complet)Infos bonux, tes Roms sont en quels extension ? (Pour info, les fichiers *.txt *.dv *.fs *.xor *.drv *.dat *.nv sont ignorés)
@Supernature2k (et @Acris) : Je suppose que tu parles des roms sur screenscraper qui sont référencé en .rar (pas les tiennes
) du coup ma recherche par nom de fichier qui transforme en .zip est pas top
Je n'ai pas d'idée pour corriger le problème (hormis rajouter encore des requêtes API (en .rar, .7z, etc...) qui vont alourdir le soft et le site).
Je vais plutôt essayer de voir du coté de MarbleMad, s'il peut modifier le fonctionnement de l'API pour qu'il fasse une recherche du nom de fichier "sans extension".
C'est pas gagné (Marble est pas mal occupé en ce moment et c'est l'été ^^)
Donc à voir je vous tiens au courant 
@lestatrico : Hésite pas à me tenir au courant (Parce que je n'ai pas réussi à obtenir de vrai expiration de délais je n'ai pu que en simuler en faisant une pause après le dl du fichier XML et en le supprimant ^^)Question subsidiaire aux utilisateurs :
En fait, ça m'ennuis un peu (déformation professionnelle) de ne pas avoir de retour statistique (peu de retour malgré 1,392 téléchargements :S Merci à vous d’ailleurs ^^)
A votre avis, cela serait il gênant si en fin de scrape, j'alimente une base de donnée MySQL avec le résultat du scrape ?Ce que je compte y stocker :
- Version d'UXS
- Nom du Profil utilisé
- Système scrapé
- Annulé/en Erreur(TimeOut)/finit normalement
- Nombre de fichier scrapé
- Nombre de fichier trouvé
- Nombre d'image downloadée.
- Potentiellement IP Publique du PC qui Scrape pour identifier le nombre réel d'utilisateur (bon c'est le seul élément à peu prêt fiable que j'ai trouvé pour identifier ce nombre. Même si avec une IP Dynamique ce ne sera pas si précis que ça. Et je n'ai pas envie de forcer la création d'un compte.)
L'idée serait après de faire une petite page Web pour afficher le résultat statistique en libre accès.
De toutes façon, le code sera toujours dispos sur Github et vous pourrez voir en live le contenue des requêtes (d'ailleurs par contre, il faut que je crypte le MDP de la base MySQL :S pour ne pas que ça apparaisse sur github je ne sais pas comment on fait ça ^^)
L'idée, c'est vraiment juste d'avoir un retour assez précis sans que ça deviennent un soft considéré comme une vérole qui vous pompe votre vie privé ^^ (Je m'appel pas google non plus ^^)Du coup, je vous pose la question à vous utilisateur (bon on peut pas faire de sondage sur ce forum ^^):
Que pensez vous d'avoir des données statistique sur l'utilisation de UXS :- C'est inadmissible et ma vie privé alors !! (je n'ai pas envie que tout le monde sache que je n'ai que 2 jeux sur gameboy)
- Je m'en fout royal fait ce que tu veux
- C'est une excellente idée et ça m’intéresse aussi
- Attention sa pourrait être mal vu...
- La réponse 5
Merci à vous qui contribuez à faire avancer le soft
-
Hi @screech Clairement si tu fait une requête pour chaque extension possible, ça va faire lourd
J'ai vu des .bin,.iso etc sur screenscraper. N'y a t'il pas moyen que l'API renvoie/check uniquement le nom avant l'extension? (genre fonction trimright ou que sais-je) Question complémentaire, comment fait on pour rajouter une rom sur une fiche de jeu sur screenscraper? J'ai pas trouvé 
Et enfin pour ton sondage, je réponds 3,4 et obi-wan kenobi
