[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
Salut @Genetik57
Merci pour les compliments et les retours
Quelques explications :
UXS peut être plus lent que la moyenne des scraper courant, c'est du en partie au langage de développement (Autoit ^^ mais cette argument est juste pour faire plaisir à @subs ) mais il fait aussi bcp plus de chose Tout d'abord, il est basé sur ce que l'on appel les Hash (une sorte de signature numérique d'un fichier) pour éviter au maximum les erreurs (qu'il ne te mette pas les infos, de Mario 2 sur Mario 1 par exemple
)
Cette sécurité a un coup, parce qu'il doit calculer ce hash... Sur des tout petit fichier ça va vite, mais sur des gros (genre des ISO) ça peut être extrêmement long.
(C'est pour cette raison que sur les fichier >500Mo il ne calcul que le CRC et pas le MD5 ni le SHA1)Ensuite il y a toute la partie traitement d'image. Si tu es en mode MIX, le logiciel doit "composer", manipuler, redimensionner plusieurs fichiers images. Ce qui peut être consommateur de temps.
Enfin, personnellement, la fourchette que j'ai pu constaté, par rom, varie entre moins de 1s pour un scrape simple et jusqu'à 5 ou 6s sur un MIX avec un template très lourd (genre le fullBackground avec des images de 1920x1080)
Concernant le temps affiché, il calcul une moyenne de temps de scrape par rom en temps réel qu'il multiplie par le nombre de rom restante
du coup, comme tous les temps "windows" ce n'est pas ultra fiable Enfin, la "pause" est réalisable
tu trouveras dans le menu EDITION/CONFIGURATION deux modes : Nouveau fichier et ajout de rom.
Le nouveau fichier te recréer systématiquement ton fichier XML.
Ajout de rom va parcourir le gamelist.xml présent et ne rescrapera pas celle déjà présente, il ne fera qu'en rajouter.Donc tu peux scraper un nouveau fichier, Annuler le scrape (tu auras donc un fichier XML partiel) et passer en mode "ajout" pour compléter les manques
Cela t’évite aussi de TOUT rescraper si tu n'ajoutes qu'une ou deux roms à ta listePour information, dans les 2 cas, il ne rescrape pas les images si celles-ci sont existante.
Donc si tu veux rescraper une image, il te faudra la supprimer avant.
A l'inverse, si tu relance un scrape, même en mode 'nouveau fichier' il ne rescrapera pas les images et tu gagneras du tempsConcernant la V2, elle progresse plutôt pas mal
plein de nouvelle fonction pour les mix, de l'optimisation de partout, de la réécriture de fonction (surtout pour la manipulation des fichiers XML qui maintenant se fait en mémoire )Par contre, pas de "liste" comme tu le souhaite... Ce sera pour mon second soft (Universal XML Editor) mais ça c'est quand UXS V2 sera finit
(pour info, tu peux trouver une version Très Alpha de UXR ici : https://github.com/Universal-Rom-Tools/Universal-XML-Editor )A bientot
-
Quel menteur ce @screech ... Le calcul d'un hash prend 0.1s tout au plus
Ca irait plus vite si ca utilisait tous les cores d'un CPU en parallèle surtout oui
-
houla ^^ t'as déjà calculé un MD5 sur un fichier de 500Mo
essaye pour voir (Et pour info, tous les thread de ton CPU sont utilisé en // par UXS
c'est juste qu'il est monotache et ne scrape pas plusieurs fichiers en même temps ^^)Clean your Romset with Universal ROM Cleaner
Scrape your Romset with Universal XML Scraper -
@screech Salut,
Merci pour tes informations complémentaires, en effet je n'avais pas conscience de tout cet ÉNORME travail derrière ce logiciel !
En effet je comprends mieux pourquoi, excuse-moi J'ai essayé la configuration automatique mais sans succès. Mon disque dur externe branché à mon Raspberry, j'ai bien effectué chaque étape comme détaillé dans le tuto en n'oubliant pas d'éteindre Emulationstation (jusque là aucun problème) et au moment où je lance le scrape, le logiciel affiche "récupération automatique de la liste des systèmes" (un truc du style lol) et après j'obtiens "le logiciel ne répond pas". Donc je passe en configuration manuel depuis le pc en branchant le disque dur externe sur l'un de mes ports USB, après ça fait le même boulot mdr
Je vais essayer cette beta !
Bonne après-midi
-
Salut,
@screech j'ai découvert un bug avec ton logiciel, quand il affiche la moindre erreur pendant un scrape et que l'on clique pour faire passer cette erreur, la progression du scrape continue jusqu'à la fin mais en faisant la moitié du scrape. Le logiciel scrape mais uniquement dans le gamelist.xml, il écrit seulement le gamelist.xml avec les descriptions ... etc mais ne s'occupe plus de télécharger les images.
Je viens de faire le test avec mon dossier Mame, hier il m'a téléchargé 397 images sur plus de 4000 fichiers (j'ai stoppé en cours de route car je me suis douté d'un problème) mais par contre il m'a téléchargé les descriptions de +2000 fichiers sur +2000 fichiers scrapes.
Exemple :
J'ai 4832 fichiers, comme j'ai arrêté en cours de route, il m'a scrape que 2778 fichiers, sur ces 2778 fichiers il a trouvé que 2413 descriptions ... etc et uniquement 397 images. Sachant qu'après les 397 images j'ai eu un message d'erreur et après il a scrape pendant +1h sans télécharger une seule autre image mais par contre il a continué à trouver les descriptions ... etc.
J'ai eu ce bug avec d'autres dossiers du coup je vais devoir tout recommencer :X
Bon début d'après-midi
-
Arg :S désolé...
Comme précédement dit, je travail sur la V2 qui ne devrait pas avoir ce type de probleme
sinon, un conseil, quand tu as ce type d'erreur, annule le scrape en cours, passe en mode "ajout de rom" et relance le scrape
-
Salut,
@screech c'est noté l'ami merci !
Ce n'est pas grave, c'est qu'une question de temps, quoi que ton logiciel a déjà apporté un gain de temps incalculable à pas mal de personne ici ! Hâte de voir la v2 !
Par contre Bitdefender Total Security 2016 détecte et supprime ton logiciel (logiciel indésirable, menace potentielle)
Bonne soirée
-
Bonjour, tout d'abord merci pour ce logiciel. Je l'ai découvert il y a quelques jours en meme temps que mon raspberry3 et c'est très utile et magnifique comme rendu. Une question : est il possible d'afficher un boitier 2D en mode MIX 3 ou 4 images ? J'y arrive sans probleme sur le profil simple mais pas dans ce mode là.
Merci.
-
Hello @NSwitch
C'est tout à fait possible, pour cela je t'encourage à regarder le wiki
En version simple : tu copie le fichier zip correspondant à ton MIX template, tu le renommes, tu l'ouvres, et dedans tu as un fichier config...
Dans ce fichier config, tu cherches la ligne qui contient la box 3D, et tu remplace en box 2D
-
Ca a bien fonctionné ! Merci. Pour vouloir faire cette modification, j'avais regardé sur le UXSconfig à la racine du logiciel et non du coté du dossier zippé MIX (ca paraissait pourtant évident ^^). Thanks.
-
UXS Freeze constamment lorsque je scrappe la psx, j'ai beau avoir changé toutes les values dans rechsys, rien n'y fait, freeze a "getting list systems" avec l'icone PS1 qui s'affiche.
-
@reaver-seven as tu bien la dernière version ? (Attention la dernière version existe en 2 types : normale et "spéciale retropie" ne prend pas la retropie
)Est tu sur qu'il s'agit d'un freeze ? la calcul de hash sur des fichiers de plus de 500Mo peut être très long (UXS calcul 3 types de Hash : CRC32, MD5, et SHA1. Les 2 derniers n’étant pas calculé sur la dernière version dans le cas de gros fichiers pour économiser du temps... Seul le premier étant essentiel)
Sinon, si tu as tes fichiers sous forme de cue+bin, essaye de ne scraper que les cue en changeant la ligne suivante dans le UXS-config.ini :
$RechFiles = '*.*|*.xml;*.txt;*.dv;*.fs;*.xor;*.drv;*.dat;*.nv;*.cue;*.sav*'
en
$RechFiles = '*.*|*.xml;*.txt;*.dv;*.fs;*.xor;*.drv;*.dat;*.nv;*.bin;*.sav*'Cela accéléra grandement le processus.
Sinon, il te faudra attendre la V2 qui gère ça beaucoup mieux
-
Alors oui, j'ai l'avant derniere version, en gros.
Il y a celle pour retropie, et en dessous "la bonne".
Bah ce que je ne comprends pas, selon le log, il calcule Ape Escape.bin, et donc ça met loooongtemps.
Alors que pourtant le .bin n'est pas dans la liste"avancée".Donc en gros il faut juste que j'attende même si je suis bloqué sur recuperation de la liste des systemes avec la barre remplie?
Etrange, la premiere fois que j'ai scrappé les roms de la psx (une vingtaine) ça n'a pas fait ça, et pas pris autant de temps malgré le fait que j'ai des fichiers au format ISO (FF7 Hardcore Neo Midgar).
La j'ai rajouté 40 roms de plus, et ça freeze.C'est ça que je comprends pas en fait, la première fois y a pas eu de soucis, et la bah ça boude.
Edit: en modifiant ce que tu me dis, effectivement ça marche du feu de dieu. Tu peux m'expliquer en gros le pourquoi du comment? C'est une liste de fichiers a NE PAS analyser, en gros?
Edit2: Effectivement sur les .img et .iso ça a l'air de trainer du zizi.
http://pastebin.com/wMwWkjVy -
is there a way we can scrap from a selected folders that has art work in and make a mix picture?
Sometimes you do no get the full effect either logo, or just picture from just scrapping from the websites.
thanks in advance -
@reaver-seven Tout à fait, le mask que je t'ai conseillé de changer scrape les fichiers cue et ignore les bin. (en standard c'est l'inverse) du coup, un cue de quelques ko se hash bcp plus vite
@jmoose Sorry, it's not possible. But if you have media who is missing in the MIX, you can upload them to http://www.screenscraper.fr/ so your MIX will be complete at the next scrape, and you are doing a good action to help filling the missing in the database for every user
-
Bonjour,
tout d'abord merci pour ce fabuleux logiciel que j'ai découvert hier ! un régal pour les yeux.
J'ai testé pour la nes et il n'en a pas trouve 8. Plutôt pas mal sur 271 ! C'était des roms avec a la fin par exemple : legend of zelda trad fr.nes .
J'ai donc triché et remplacé le trad fr par (USA), ca marche ce genre d’astuce ?
Et surtout, comment peux t'on juste rescrapper les roms manquantes sans tout refaire.
merci
-
oui ^^ ce genre d'astuce fonctionne
l'idée c'est d'avoir une rom avec un CRC ou un NOM de fichier référencé sur Screenscraper
Et si tu ne veux pas tout rescraper, tu vas dans le menu "Edition/configuration" et tu te mets en mode "Ajout de rom"
Il ne rescrapera que les roms manquante
-
merci bien et que veut dire l'option : non trouvées exactement ? ajout d'entrée vide ?
Sinon en rescrappant toute la nes, il m'a effacé tout ce qu'il y avait avant, alors que mon fichier missing rom est passé à 6.
bizarre
edit : je pense que ca vient du fait que quand j'ai kill emulstation avec putty comme dans le tuto, l'écran n'est pas totalement noir comme d'hab mais il y le logo recalbox en bas...
-
effectivement, un mauvais kill d'Emulationstation peut poser des problèmes
pour l'option "non trouvées" en fait UXS créer une entré (vide) dans le fichier gamelist.xml.
c'est tout ^^ -
merci et encore bravo !
