[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[bazola]

Ok, si tu veux tester sur Master system tu as par exemple Baku Baku Animal (Brazil).zip ou encore Virtua Fighter Animation (Brazil).zip, dont les fiches existent sur screenscraper.
Sur Megadrive, j'ai Battle Mania Daiginjou (Japan, Korea).zip
Je me demande si ce n'est pas un problème d'accent, dans le champ "région" de leur fiche screenscraper, il y a un bug sur l'affichage des accents.
A noter que je mes roms sont sur une clé usb formatée en ext4, je ne sais pas si ça peut avoir une importance mais si ça peut apporter une piste...

[screech]

Bon, j'ai trouvé le bug il vient de Screenscraper. Lorsqu'un rom contient une région avec un accent, il retourne un XML incomplet.

Je préviens MarbleMad pour qu'il corrige... Du coup, je pense que demain ça devrait être bon

[bazola]

Nickel, t'assures!

[acris]

Salut
une information n'est pas traduite dans USX en français
Menu commande SSH > start emulationstation devrait être Démarrer emulationstation.

[screech]

Ce sera comme il faut dans la V2

[screech]

@bazola c'est corrigé

[bazola]

Je confirme c'est tout bon
Petite question au passage , je ne trouve pas l'option picture_region dans le ini pour forcer le téléchargement de la jaquette par région, par exemple si je scrape Dragon ball z super butoden 2, puis Dragon ball La légende saien, j'ai 2 fois la jaquette euro qui s'affiche. Quel paramètre je dois modifier? (je suis sur la dernière version)

[screech]

dans le fichier UXS-config.ini, tout à la fin, tu dois avoir : $Picture_Region = 1

si tu ne l'as pas (ce qui est bisarre :S) tu peux l'ajouter.

Voici les options :

$Picture_Region = 0 -> Picture preference by User Language
$Picture_Region = 1 -> Picture preference by Rom Region + preference by User Language
$Picture_Region = 2 -> Picture preference by Rom Region only (nothing if no picture)

(ATTENTION, cela ne fonctionne qu'avec les MIX Profil, pour le scrape "standard" il faudra attendre la V2 )

[bazola]

Je l'ai effectivement tout à la fin dans la rubrique [last use], et il est sur 1.
J'utilise bien le profil mix (3 images), par contre je fais une recherche par filename (j'ai des roms patchées donc le CRC n'est pas bon) et ça doit poser problème (puisqu'il ne lit pas ce qui est entre parenthéses après le nom du jeu si je comprends bien ce que tu as écrit plus haut)

[screech]

alors, comment fonctionne la detection de rom :

Il check le CRC, si c'est pas bon, il prend le nom du fichier (sans l'extension) et recherche un fichier exactement identique dans la BDD.
Une fois trouvé, il récupére la Région indiqué dans la BDD pour cette Rom.
Et ensuite, il essaye de recuperer les medias en fonction de cette region.

Donc si on regarde ton exemple :
Dragon Ball Z - Super Butouden 2 (Japan).zip et Dragon Ball Z - La Legende Saien (France).zip sont bien référencé dans la fiche : http://www.screenscraper.fr/gameinfos.php?gameid=2166

Donc pour la première, il va récupérer la région Japan, et donc normalement les média Japan.
Pour la deuxième il va récupérer la région France et et donc les média France

Donc, la la question est de savoir : s'il ne trouve pas les roms via CRC (parce que patché), il doit au moins les trouver par nom. Et il faut que le nom colle à une rom existante en BDD avec la region renseigné

[bazola]

J'ai dû bricoler un truc qu'il ne fallait pas alors parce que ça ne marche toujours pas

J'ai effacé l'image de super butoden 2, effacé l'entrée concernant le jeu dans gamelist.xml, vérifié que la rom ait le bon CRC (ce n'est pas celle là qui est patchée), relancé le scraper en sélectionnant "ajout de rom" dans la config et j'obtiens toujours une jaquette euro...

Pour info le log.txt me retourne ça :
[11:15:22] - Calcul des Hash en : 3.25s
[11:15:22] - Recuperation des informations de la Rom no 64 (CRC + SYSTEM)
[11:15:25] - Recuperation des Images pour le Mix
[11:15:36] - Rom trouve : Dragon Ball Z - Super Butouden 2 (Japan).zip (Hash : 112FC768)
[11:15:36] - Fin de l'ecriture des informations de la Rom no 64 en 16.76s

Le hash correspond bien à la rom japonaise sur screenscraper, et la jaquette jap existe sur la fiche, donc je ne vois pas où ça cloche...

Bon après ça reste de l'ordre du détail, c'est déjà magnifique en l'état

[screech]

tu as bien $Picture_Region = 1 dans ton UXS-config.ini (ou 2, mais pas 0) ?

[bazola]

Oui j'ai bien la ligne Picture region.
En mettant 1 j'ai systématiquement la jaquette et la wheel euro.
En mettant 2 je n'ai ni la jaquette, ni la wheel... (j'ai uniquement le screenshot)

[screech]

Je vais faire des tests

[johnDoe_1]

Salut,

Tout d'abord merci à toi et à toute ton équipe @screech pour ce magnifique tool ! Par contre je sais pas d'où ça vient mais je le trouve un peu long et j'obtiens parfois quelques erreurs.

J'ai une connexion fibrée (donc aucun problème de ce côté) et par exemple pour un dossier avec +4000 fichiers, le logiciel m'affiche 267 minutes (et ça augmente) soit un peu plus de 4h45 :S

Sinon dans l'ensemble, nickel ! Pour ma part, il manque un bouton "pause", une fonction qui permet au logiciel de reprendre là où il s'est arrêté (dans un dossier par exemple) ça éviterait à celui-ci de recommencer de zéro, il check ce qu'il a fait depuis un fichier mémoire (je ne connais pas les termes) et au lieu de recommencer de 1/475, il reprend à 203/475 (tout en ayant vérifié rapidement les 202 fichiers), ça serait un super gain de temps !

Ce qui serait cool dans la v2, c'est d'avoir une refonte complète ! Genre une espèce de tableau avec des colonnes et tout, et il liste les jeux avec nom du jeu, année, l'image téléchargée par le logiciel et un petit logo check ou uncheck (pour dire si le logiciel a déjà scraper ce fichier ou non), des checkbox pour sélectionner nos fichiers, pouvoir ajouter d'autres sites qui référencent les jeux afin de scrape les jeux manquants ou pourquoi pas les éditer nous-mêmes depuis ton logiciel !

Bon début d'après-midi !

[screech]

Salut @Genetik57

Merci pour les compliments et les retours

Quelques explications :
UXS peut être plus lent que la moyenne des scraper courant, c'est du en partie au langage de développement (Autoit ^^ mais cette argument est juste pour faire plaisir à @subs ) mais il fait aussi bcp plus de chose

Tout d'abord, il est basé sur ce que l'on appel les Hash (une sorte de signature numérique d'un fichier) pour éviter au maximum les erreurs (qu'il ne te mette pas les infos, de Mario 2 sur Mario 1 par exemple )
Cette sécurité a un coup, parce qu'il doit calculer ce hash... Sur des tout petit fichier ça va vite, mais sur des gros (genre des ISO) ça peut être extrêmement long.
(C'est pour cette raison que sur les fichier >500Mo il ne calcul que le CRC et pas le MD5 ni le SHA1)

Ensuite il y a toute la partie traitement d'image. Si tu es en mode MIX, le logiciel doit "composer", manipuler, redimensionner plusieurs fichiers images. Ce qui peut être consommateur de temps.

Enfin, personnellement, la fourchette que j'ai pu constaté, par rom, varie entre moins de 1s pour un scrape simple et jusqu'à 5 ou 6s sur un MIX avec un template très lourd (genre le fullBackground avec des images de 1920x1080)

Concernant le temps affiché, il calcul une moyenne de temps de scrape par rom en temps réel qu'il multiplie par le nombre de rom restante du coup, comme tous les temps "windows" ce n'est pas ultra fiable

Enfin, la "pause" est réalisable tu trouveras dans le menu EDITION/CONFIGURATION deux modes : Nouveau fichier et ajout de rom.
Le nouveau fichier te recréer systématiquement ton fichier XML.
Ajout de rom va parcourir le gamelist.xml présent et ne rescrapera pas celle déjà présente, il ne fera qu'en rajouter.

Donc tu peux scraper un nouveau fichier, Annuler le scrape (tu auras donc un fichier XML partiel) et passer en mode "ajout" pour compléter les manques
Cela t’évite aussi de TOUT rescraper si tu n'ajoutes qu'une ou deux roms à ta liste

Pour information, dans les 2 cas, il ne rescrape pas les images si celles-ci sont existante.
Donc si tu veux rescraper une image, il te faudra la supprimer avant.
A l'inverse, si tu relance un scrape, même en mode 'nouveau fichier' il ne rescrapera pas les images et tu gagneras du temps

Concernant la V2, elle progresse plutôt pas mal plein de nouvelle fonction pour les mix, de l'optimisation de partout, de la réécriture de fonction (surtout pour la manipulation des fichiers XML qui maintenant se fait en mémoire )

Par contre, pas de "liste" comme tu le souhaite... Ce sera pour mon second soft (Universal XML Editor) mais ça c'est quand UXS V2 sera finit (pour info, tu peux trouver une version Très Alpha de UXR ici : https://github.com/Universal-Rom-Tools/Universal-XML-Editor )

A bientot

[Substring]

Quel menteur ce @screech ... Le calcul d'un hash prend 0.1s tout au plus

Ca irait plus vite si ca utilisait tous les cores d'un CPU en parallèle surtout oui

[screech]

houla ^^ t'as déjà calculé un MD5 sur un fichier de 500Mo essaye pour voir

(Et pour info, tous les thread de ton CPU sont utilisé en // par UXS c'est juste qu'il est monotache et ne scrape pas plusieurs fichiers en même temps ^^)

[johnDoe_1]

@screech Salut,

Merci pour tes informations complémentaires, en effet je n'avais pas conscience de tout cet ÉNORME travail derrière ce logiciel ! En effet je comprends mieux pourquoi, excuse-moi

J'ai essayé la configuration automatique mais sans succès. Mon disque dur externe branché à mon Raspberry, j'ai bien effectué chaque étape comme détaillé dans le tuto en n'oubliant pas d'éteindre Emulationstation (jusque là aucun problème) et au moment où je lance le scrape, le logiciel affiche "récupération automatique de la liste des systèmes" (un truc du style lol) et après j'obtiens "le logiciel ne répond pas". Donc je passe en configuration manuel depuis le pc en branchant le disque dur externe sur l'un de mes ports USB, après ça fait le même boulot mdr

Je vais essayer cette beta !

Bonne après-midi

[johnDoe_1]

Salut,

@screech j'ai découvert un bug avec ton logiciel, quand il affiche la moindre erreur pendant un scrape et que l'on clique pour faire passer cette erreur, la progression du scrape continue jusqu'à la fin mais en faisant la moitié du scrape. Le logiciel scrape mais uniquement dans le gamelist.xml, il écrit seulement le gamelist.xml avec les descriptions ... etc mais ne s'occupe plus de télécharger les images.

Je viens de faire le test avec mon dossier Mame, hier il m'a téléchargé 397 images sur plus de 4000 fichiers (j'ai stoppé en cours de route car je me suis douté d'un problème) mais par contre il m'a téléchargé les descriptions de +2000 fichiers sur +2000 fichiers scrapes.

Exemple :

J'ai 4832 fichiers, comme j'ai arrêté en cours de route, il m'a scrape que 2778 fichiers, sur ces 2778 fichiers il a trouvé que 2413 descriptions ... etc et uniquement 397 images. Sachant qu'après les 397 images j'ai eu un message d'erreur et après il a scrape pendant +1h sans télécharger une seule autre image mais par contre il a continué à trouver les descriptions ... etc.

J'ai eu ce bug avec d'autres dossiers du coup je vais devoir tout recommencer :X

Bon début d'après-midi