[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
Je l'ai effectivement tout à la fin dans la rubrique [last use], et il est sur 1.
J'utilise bien le profil mix (3 images), par contre je fais une recherche par filename (j'ai des roms patchées donc le CRC n'est pas bon) et ça doit poser problème (puisqu'il ne lit pas ce qui est entre parenthéses après le nom du jeu si je comprends bien ce que tu as écrit plus haut) -
alors, comment fonctionne la detection de rom :
Il check le CRC, si c'est pas bon, il prend le nom du fichier (sans l'extension) et recherche un fichier exactement identique dans la BDD.
Une fois trouvé, il récupére la Région indiqué dans la BDD pour cette Rom.
Et ensuite, il essaye de recuperer les medias en fonction de cette region.Donc si on regarde ton exemple :
Dragon Ball Z - Super Butouden 2 (Japan).zip et Dragon Ball Z - La Legende Saien (France).zip sont bien référencé dans la fiche : http://www.screenscraper.fr/gameinfos.php?gameid=2166Donc pour la première, il va récupérer la région Japan, et donc normalement les média Japan.
Pour la deuxième il va récupérer la région France et et donc les média France
Donc, la la question est de savoir : s'il ne trouve pas les roms via CRC (parce que patché), il doit au moins les trouver par nom. Et il faut que le nom colle à une rom existante en BDD avec la region renseigné
-
J'ai dû bricoler un truc qu'il ne fallait pas alors parce que ça ne marche toujours pas
J'ai effacé l'image de super butoden 2, effacé l'entrée concernant le jeu dans gamelist.xml, vérifié que la rom ait le bon CRC (ce n'est pas celle là qui est patchée), relancé le scraper en sélectionnant "ajout de rom" dans la config et j'obtiens toujours une jaquette euro...
Pour info le log.txt me retourne ça :
[11:15:22] - Calcul des Hash en : 3.25s
[11:15:22] - Recuperation des informations de la Rom no 64 (CRC + SYSTEM)
[11:15:25] - Recuperation des Images pour le Mix
[11:15:36] - Rom trouve : Dragon Ball Z - Super Butouden 2 (Japan).zip (Hash : 112FC768)
[11:15:36] - Fin de l'ecriture des informations de la Rom no 64 en 16.76sLe hash correspond bien à la rom japonaise sur screenscraper, et la jaquette jap existe sur la fiche, donc je ne vois pas où ça cloche...
Bon après ça reste de l'ordre du détail, c'est déjà magnifique en l'état
-
tu as bien $Picture_Region = 1 dans ton UXS-config.ini (ou 2, mais pas 0) ?
-
Oui j'ai bien la ligne Picture region.
En mettant 1 j'ai systématiquement la jaquette et la wheel euro.
En mettant 2 je n'ai ni la jaquette, ni la wheel... (j'ai uniquement le screenshot) -
Je vais faire des tests
-
Salut,
Tout d'abord merci à toi et à toute ton équipe @screech pour ce magnifique tool ! Par contre je sais pas d'où ça vient mais je le trouve un peu long et j'obtiens parfois quelques erreurs.
J'ai une connexion fibrée (donc aucun problème de ce côté) et par exemple pour un dossier avec +4000 fichiers, le logiciel m'affiche 267 minutes (et ça augmente) soit un peu plus de 4h45 :S
Sinon dans l'ensemble, nickel !
Pour ma part, il manque un bouton "pause", une fonction qui permet au logiciel de reprendre là où il s'est arrêté (dans un dossier par exemple) ça éviterait à celui-ci de recommencer de zéro, il check ce qu'il a fait depuis un fichier mémoire (je ne connais pas les termes) et au lieu de recommencer de 1/475, il reprend à 203/475 (tout en ayant vérifié rapidement les 202 fichiers), ça serait un super gain de temps ! Ce qui serait cool dans la v2, c'est d'avoir une refonte complète ! Genre une espèce de tableau avec des colonnes et tout, et il liste les jeux avec nom du jeu, année, l'image téléchargée par le logiciel et un petit logo check ou uncheck (pour dire si le logiciel a déjà scraper ce fichier ou non), des checkbox pour sélectionner nos fichiers, pouvoir ajouter d'autres sites qui référencent les jeux afin de scrape les jeux manquants ou pourquoi pas les éditer nous-mêmes depuis ton logiciel !
Bon début d'après-midi !
-
Salut @Genetik57
Merci pour les compliments et les retours
Quelques explications :
UXS peut être plus lent que la moyenne des scraper courant, c'est du en partie au langage de développement (Autoit ^^ mais cette argument est juste pour faire plaisir à @subs ) mais il fait aussi bcp plus de chose Tout d'abord, il est basé sur ce que l'on appel les Hash (une sorte de signature numérique d'un fichier) pour éviter au maximum les erreurs (qu'il ne te mette pas les infos, de Mario 2 sur Mario 1 par exemple
)
Cette sécurité a un coup, parce qu'il doit calculer ce hash... Sur des tout petit fichier ça va vite, mais sur des gros (genre des ISO) ça peut être extrêmement long.
(C'est pour cette raison que sur les fichier >500Mo il ne calcul que le CRC et pas le MD5 ni le SHA1)Ensuite il y a toute la partie traitement d'image. Si tu es en mode MIX, le logiciel doit "composer", manipuler, redimensionner plusieurs fichiers images. Ce qui peut être consommateur de temps.
Enfin, personnellement, la fourchette que j'ai pu constaté, par rom, varie entre moins de 1s pour un scrape simple et jusqu'à 5 ou 6s sur un MIX avec un template très lourd (genre le fullBackground avec des images de 1920x1080)
Concernant le temps affiché, il calcul une moyenne de temps de scrape par rom en temps réel qu'il multiplie par le nombre de rom restante
du coup, comme tous les temps "windows" ce n'est pas ultra fiable Enfin, la "pause" est réalisable
tu trouveras dans le menu EDITION/CONFIGURATION deux modes : Nouveau fichier et ajout de rom.
Le nouveau fichier te recréer systématiquement ton fichier XML.
Ajout de rom va parcourir le gamelist.xml présent et ne rescrapera pas celle déjà présente, il ne fera qu'en rajouter.Donc tu peux scraper un nouveau fichier, Annuler le scrape (tu auras donc un fichier XML partiel) et passer en mode "ajout" pour compléter les manques
Cela t’évite aussi de TOUT rescraper si tu n'ajoutes qu'une ou deux roms à ta listePour information, dans les 2 cas, il ne rescrape pas les images si celles-ci sont existante.
Donc si tu veux rescraper une image, il te faudra la supprimer avant.
A l'inverse, si tu relance un scrape, même en mode 'nouveau fichier' il ne rescrapera pas les images et tu gagneras du tempsConcernant la V2, elle progresse plutôt pas mal
plein de nouvelle fonction pour les mix, de l'optimisation de partout, de la réécriture de fonction (surtout pour la manipulation des fichiers XML qui maintenant se fait en mémoire )Par contre, pas de "liste" comme tu le souhaite... Ce sera pour mon second soft (Universal XML Editor) mais ça c'est quand UXS V2 sera finit
(pour info, tu peux trouver une version Très Alpha de UXR ici : https://github.com/Universal-Rom-Tools/Universal-XML-Editor )A bientot
-
Quel menteur ce @screech ... Le calcul d'un hash prend 0.1s tout au plus
Ca irait plus vite si ca utilisait tous les cores d'un CPU en parallèle surtout oui
-
houla ^^ t'as déjà calculé un MD5 sur un fichier de 500Mo
essaye pour voir (Et pour info, tous les thread de ton CPU sont utilisé en // par UXS
c'est juste qu'il est monotache et ne scrape pas plusieurs fichiers en même temps ^^)Clean your Romset with Universal ROM Cleaner
Scrape your Romset with Universal XML Scraper -
@screech Salut,
Merci pour tes informations complémentaires, en effet je n'avais pas conscience de tout cet ÉNORME travail derrière ce logiciel !
En effet je comprends mieux pourquoi, excuse-moi J'ai essayé la configuration automatique mais sans succès. Mon disque dur externe branché à mon Raspberry, j'ai bien effectué chaque étape comme détaillé dans le tuto en n'oubliant pas d'éteindre Emulationstation (jusque là aucun problème) et au moment où je lance le scrape, le logiciel affiche "récupération automatique de la liste des systèmes" (un truc du style lol) et après j'obtiens "le logiciel ne répond pas". Donc je passe en configuration manuel depuis le pc en branchant le disque dur externe sur l'un de mes ports USB, après ça fait le même boulot mdr
Je vais essayer cette beta !
Bonne après-midi
-
Salut,
@screech j'ai découvert un bug avec ton logiciel, quand il affiche la moindre erreur pendant un scrape et que l'on clique pour faire passer cette erreur, la progression du scrape continue jusqu'à la fin mais en faisant la moitié du scrape. Le logiciel scrape mais uniquement dans le gamelist.xml, il écrit seulement le gamelist.xml avec les descriptions ... etc mais ne s'occupe plus de télécharger les images.
Je viens de faire le test avec mon dossier Mame, hier il m'a téléchargé 397 images sur plus de 4000 fichiers (j'ai stoppé en cours de route car je me suis douté d'un problème) mais par contre il m'a téléchargé les descriptions de +2000 fichiers sur +2000 fichiers scrapes.
Exemple :
J'ai 4832 fichiers, comme j'ai arrêté en cours de route, il m'a scrape que 2778 fichiers, sur ces 2778 fichiers il a trouvé que 2413 descriptions ... etc et uniquement 397 images. Sachant qu'après les 397 images j'ai eu un message d'erreur et après il a scrape pendant +1h sans télécharger une seule autre image mais par contre il a continué à trouver les descriptions ... etc.
J'ai eu ce bug avec d'autres dossiers du coup je vais devoir tout recommencer :X
Bon début d'après-midi
-
Arg :S désolé...
Comme précédement dit, je travail sur la V2 qui ne devrait pas avoir ce type de probleme
sinon, un conseil, quand tu as ce type d'erreur, annule le scrape en cours, passe en mode "ajout de rom" et relance le scrape
-
Salut,
@screech c'est noté l'ami merci !
Ce n'est pas grave, c'est qu'une question de temps, quoi que ton logiciel a déjà apporté un gain de temps incalculable à pas mal de personne ici ! Hâte de voir la v2 !
Par contre Bitdefender Total Security 2016 détecte et supprime ton logiciel (logiciel indésirable, menace potentielle)
Bonne soirée
-
Bonjour, tout d'abord merci pour ce logiciel. Je l'ai découvert il y a quelques jours en meme temps que mon raspberry3 et c'est très utile et magnifique comme rendu. Une question : est il possible d'afficher un boitier 2D en mode MIX 3 ou 4 images ? J'y arrive sans probleme sur le profil simple mais pas dans ce mode là.
Merci.
-
Hello @NSwitch
C'est tout à fait possible, pour cela je t'encourage à regarder le wiki
En version simple : tu copie le fichier zip correspondant à ton MIX template, tu le renommes, tu l'ouvres, et dedans tu as un fichier config...
Dans ce fichier config, tu cherches la ligne qui contient la box 3D, et tu remplace en box 2D
-
Ca a bien fonctionné ! Merci. Pour vouloir faire cette modification, j'avais regardé sur le UXSconfig à la racine du logiciel et non du coté du dossier zippé MIX (ca paraissait pourtant évident ^^). Thanks.
-
UXS Freeze constamment lorsque je scrappe la psx, j'ai beau avoir changé toutes les values dans rechsys, rien n'y fait, freeze a "getting list systems" avec l'icone PS1 qui s'affiche.
-
@reaver-seven as tu bien la dernière version ? (Attention la dernière version existe en 2 types : normale et "spéciale retropie" ne prend pas la retropie
)Est tu sur qu'il s'agit d'un freeze ? la calcul de hash sur des fichiers de plus de 500Mo peut être très long (UXS calcul 3 types de Hash : CRC32, MD5, et SHA1. Les 2 derniers n’étant pas calculé sur la dernière version dans le cas de gros fichiers pour économiser du temps... Seul le premier étant essentiel)
Sinon, si tu as tes fichiers sous forme de cue+bin, essaye de ne scraper que les cue en changeant la ligne suivante dans le UXS-config.ini :
$RechFiles = '*.*|*.xml;*.txt;*.dv;*.fs;*.xor;*.drv;*.dat;*.nv;*.cue;*.sav*'
en
$RechFiles = '*.*|*.xml;*.txt;*.dv;*.fs;*.xor;*.drv;*.dat;*.nv;*.bin;*.sav*'Cela accéléra grandement le processus.
Sinon, il te faudra attendre la V2 qui gère ça beaucoup mieux
-
Alors oui, j'ai l'avant derniere version, en gros.
Il y a celle pour retropie, et en dessous "la bonne".
Bah ce que je ne comprends pas, selon le log, il calcule Ape Escape.bin, et donc ça met loooongtemps.
Alors que pourtant le .bin n'est pas dans la liste"avancée".Donc en gros il faut juste que j'attende même si je suis bloqué sur recuperation de la liste des systemes avec la barre remplie?
Etrange, la premiere fois que j'ai scrappé les roms de la psx (une vingtaine) ça n'a pas fait ça, et pas pris autant de temps malgré le fait que j'ai des fichiers au format ISO (FF7 Hardcore Neo Midgar).
La j'ai rajouté 40 roms de plus, et ça freeze.C'est ça que je comprends pas en fait, la première fois y a pas eu de soucis, et la bah ça boude.
Edit: en modifiant ce que tu me dis, effectivement ça marche du feu de dieu. Tu peux m'expliquer en gros le pourquoi du comment? C'est une liste de fichiers a NE PAS analyser, en gros?
Edit2: Effectivement sur les .img et .iso ça a l'air de trainer du zizi.
http://pastebin.com/wMwWkjVy
