[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

[bazola]

Salut screech, merci pour ton superbe outil qui nous évite tant d'heures de galère!
J'ai relevé un petit bug, dans mon set master system, j'ai quelques jeux "dou brazil" qui font littéralement planter le scraping, si j'ai par exemple 100 jeux à scraper et que le 10ème est un jeu brésilien (issu d'un set no-intro), le scraper va trouver sans problèmes les 9 premiers jeux, puis va ignorer les 91 autres.
J'ai fait plusieurs tests, pensant à une erreur de manip, mais le scraper plante invariablement sur les jeux brésiliens, alors que leur fiche existe bien sur screenscraper (baku baku animal par exemple).
Y a peut être un truc à paramétrer dans le ini mais je n'ai pas trouvé.

edit : pour info, je rencontre aussi le même problème avec une rom Coréenne ("japan,korea" dans le nom de la rom)

[n3o_c59]

Yop tout le monde !

Petite question. J'ai des roms qui ne sont pas scrapées comment je peux faire pour avoir une image ? Même si c'est à la main ? (genre psx il m'en manque pleinnnn lol)
Merci !

[screech]

@bazola Alors normalement, les (xxx) ne pose pas de probleme... (En tout cas ne sont pas sensé bloquer quoi que ce soit ^^) pourrais tu me donner le nom complet de la la rom que je fasse des tests ?

@n3o_c59 qu'appel tu image ? s'il s'agit des MIX image selon un template précis, ça va être compliqué de le faire à la main...
Sinon concernant les manques de la BDD sur la PSX, ça arrive (on finit la dreamcast et on s'attaque à la PSX ; ) ) donc bientot plein de média pour ce système
D'ailleurs, n’hésite pas à participer, par exemple en proposant des synopsis en FR (ou en EN voir en d'autre langue) directement sur http://www.screenscraper.fr/
Toutes les bonnes âmes sont les bienvenues, et le travail que tu aurais fait tout seul dans ton coin pourras profiter à tous le monde (et tous le monde te sera éternellement reconnaissant pour les infos que tu fourniras pour le scrape )

[bazola]

Ok, si tu veux tester sur Master system tu as par exemple Baku Baku Animal (Brazil).zip ou encore Virtua Fighter Animation (Brazil).zip, dont les fiches existent sur screenscraper.
Sur Megadrive, j'ai Battle Mania Daiginjou (Japan, Korea).zip
Je me demande si ce n'est pas un problème d'accent, dans le champ "région" de leur fiche screenscraper, il y a un bug sur l'affichage des accents.
A noter que je mes roms sont sur une clé usb formatée en ext4, je ne sais pas si ça peut avoir une importance mais si ça peut apporter une piste...

[screech]

Bon, j'ai trouvé le bug il vient de Screenscraper. Lorsqu'un rom contient une région avec un accent, il retourne un XML incomplet.

Je préviens MarbleMad pour qu'il corrige... Du coup, je pense que demain ça devrait être bon

[bazola]

Nickel, t'assures!

[acris]

Salut
une information n'est pas traduite dans USX en français
Menu commande SSH > start emulationstation devrait être Démarrer emulationstation.

[screech]

Ce sera comme il faut dans la V2

[screech]

@bazola c'est corrigé

[bazola]

Je confirme c'est tout bon
Petite question au passage , je ne trouve pas l'option picture_region dans le ini pour forcer le téléchargement de la jaquette par région, par exemple si je scrape Dragon ball z super butoden 2, puis Dragon ball La légende saien, j'ai 2 fois la jaquette euro qui s'affiche. Quel paramètre je dois modifier? (je suis sur la dernière version)

[screech]

dans le fichier UXS-config.ini, tout à la fin, tu dois avoir : $Picture_Region = 1

si tu ne l'as pas (ce qui est bisarre :S) tu peux l'ajouter.

Voici les options :

$Picture_Region = 0 -> Picture preference by User Language
$Picture_Region = 1 -> Picture preference by Rom Region + preference by User Language
$Picture_Region = 2 -> Picture preference by Rom Region only (nothing if no picture)

(ATTENTION, cela ne fonctionne qu'avec les MIX Profil, pour le scrape "standard" il faudra attendre la V2 )

[bazola]

Je l'ai effectivement tout à la fin dans la rubrique [last use], et il est sur 1.
J'utilise bien le profil mix (3 images), par contre je fais une recherche par filename (j'ai des roms patchées donc le CRC n'est pas bon) et ça doit poser problème (puisqu'il ne lit pas ce qui est entre parenthéses après le nom du jeu si je comprends bien ce que tu as écrit plus haut)

[screech]

alors, comment fonctionne la detection de rom :

Il check le CRC, si c'est pas bon, il prend le nom du fichier (sans l'extension) et recherche un fichier exactement identique dans la BDD.
Une fois trouvé, il récupére la Région indiqué dans la BDD pour cette Rom.
Et ensuite, il essaye de recuperer les medias en fonction de cette region.

Donc si on regarde ton exemple :
Dragon Ball Z - Super Butouden 2 (Japan).zip et Dragon Ball Z - La Legende Saien (France).zip sont bien référencé dans la fiche : http://www.screenscraper.fr/gameinfos.php?gameid=2166

Donc pour la première, il va récupérer la région Japan, et donc normalement les média Japan.
Pour la deuxième il va récupérer la région France et et donc les média France

Donc, la la question est de savoir : s'il ne trouve pas les roms via CRC (parce que patché), il doit au moins les trouver par nom. Et il faut que le nom colle à une rom existante en BDD avec la region renseigné

[bazola]

J'ai dû bricoler un truc qu'il ne fallait pas alors parce que ça ne marche toujours pas

J'ai effacé l'image de super butoden 2, effacé l'entrée concernant le jeu dans gamelist.xml, vérifié que la rom ait le bon CRC (ce n'est pas celle là qui est patchée), relancé le scraper en sélectionnant "ajout de rom" dans la config et j'obtiens toujours une jaquette euro...

Pour info le log.txt me retourne ça :
[11:15:22] - Calcul des Hash en : 3.25s
[11:15:22] - Recuperation des informations de la Rom no 64 (CRC + SYSTEM)
[11:15:25] - Recuperation des Images pour le Mix
[11:15:36] - Rom trouve : Dragon Ball Z - Super Butouden 2 (Japan).zip (Hash : 112FC768)
[11:15:36] - Fin de l'ecriture des informations de la Rom no 64 en 16.76s

Le hash correspond bien à la rom japonaise sur screenscraper, et la jaquette jap existe sur la fiche, donc je ne vois pas où ça cloche...

Bon après ça reste de l'ordre du détail, c'est déjà magnifique en l'état

[screech]

tu as bien $Picture_Region = 1 dans ton UXS-config.ini (ou 2, mais pas 0) ?

[bazola]

Oui j'ai bien la ligne Picture region.
En mettant 1 j'ai systématiquement la jaquette et la wheel euro.
En mettant 2 je n'ai ni la jaquette, ni la wheel... (j'ai uniquement le screenshot)

[screech]

Je vais faire des tests

[johnDoe_1]

Salut,

Tout d'abord merci à toi et à toute ton équipe @screech pour ce magnifique tool ! Par contre je sais pas d'où ça vient mais je le trouve un peu long et j'obtiens parfois quelques erreurs.

J'ai une connexion fibrée (donc aucun problème de ce côté) et par exemple pour un dossier avec +4000 fichiers, le logiciel m'affiche 267 minutes (et ça augmente) soit un peu plus de 4h45 :S

Sinon dans l'ensemble, nickel ! Pour ma part, il manque un bouton "pause", une fonction qui permet au logiciel de reprendre là où il s'est arrêté (dans un dossier par exemple) ça éviterait à celui-ci de recommencer de zéro, il check ce qu'il a fait depuis un fichier mémoire (je ne connais pas les termes) et au lieu de recommencer de 1/475, il reprend à 203/475 (tout en ayant vérifié rapidement les 202 fichiers), ça serait un super gain de temps !

Ce qui serait cool dans la v2, c'est d'avoir une refonte complète ! Genre une espèce de tableau avec des colonnes et tout, et il liste les jeux avec nom du jeu, année, l'image téléchargée par le logiciel et un petit logo check ou uncheck (pour dire si le logiciel a déjà scraper ce fichier ou non), des checkbox pour sélectionner nos fichiers, pouvoir ajouter d'autres sites qui référencent les jeux afin de scrape les jeux manquants ou pourquoi pas les éditer nous-mêmes depuis ton logiciel !

Bon début d'après-midi !

[screech]

Salut @Genetik57

Merci pour les compliments et les retours

Quelques explications :
UXS peut être plus lent que la moyenne des scraper courant, c'est du en partie au langage de développement (Autoit ^^ mais cette argument est juste pour faire plaisir à @subs ) mais il fait aussi bcp plus de chose

Tout d'abord, il est basé sur ce que l'on appel les Hash (une sorte de signature numérique d'un fichier) pour éviter au maximum les erreurs (qu'il ne te mette pas les infos, de Mario 2 sur Mario 1 par exemple )
Cette sécurité a un coup, parce qu'il doit calculer ce hash... Sur des tout petit fichier ça va vite, mais sur des gros (genre des ISO) ça peut être extrêmement long.
(C'est pour cette raison que sur les fichier >500Mo il ne calcul que le CRC et pas le MD5 ni le SHA1)

Ensuite il y a toute la partie traitement d'image. Si tu es en mode MIX, le logiciel doit "composer", manipuler, redimensionner plusieurs fichiers images. Ce qui peut être consommateur de temps.

Enfin, personnellement, la fourchette que j'ai pu constaté, par rom, varie entre moins de 1s pour un scrape simple et jusqu'à 5 ou 6s sur un MIX avec un template très lourd (genre le fullBackground avec des images de 1920x1080)

Concernant le temps affiché, il calcul une moyenne de temps de scrape par rom en temps réel qu'il multiplie par le nombre de rom restante du coup, comme tous les temps "windows" ce n'est pas ultra fiable

Enfin, la "pause" est réalisable tu trouveras dans le menu EDITION/CONFIGURATION deux modes : Nouveau fichier et ajout de rom.
Le nouveau fichier te recréer systématiquement ton fichier XML.
Ajout de rom va parcourir le gamelist.xml présent et ne rescrapera pas celle déjà présente, il ne fera qu'en rajouter.

Donc tu peux scraper un nouveau fichier, Annuler le scrape (tu auras donc un fichier XML partiel) et passer en mode "ajout" pour compléter les manques
Cela t’évite aussi de TOUT rescraper si tu n'ajoutes qu'une ou deux roms à ta liste

Pour information, dans les 2 cas, il ne rescrape pas les images si celles-ci sont existante.
Donc si tu veux rescraper une image, il te faudra la supprimer avant.
A l'inverse, si tu relance un scrape, même en mode 'nouveau fichier' il ne rescrapera pas les images et tu gagneras du temps

Concernant la V2, elle progresse plutôt pas mal plein de nouvelle fonction pour les mix, de l'optimisation de partout, de la réécriture de fonction (surtout pour la manipulation des fichiers XML qui maintenant se fait en mémoire )

Par contre, pas de "liste" comme tu le souhaite... Ce sera pour mon second soft (Universal XML Editor) mais ça c'est quand UXS V2 sera finit (pour info, tu peux trouver une version Très Alpha de UXR ici : https://github.com/Universal-Rom-Tools/Universal-XML-Editor )

A bientot

[Substring]

Quel menteur ce @screech ... Le calcul d'un hash prend 0.1s tout au plus

Ca irait plus vite si ca utilisait tous les cores d'un CPU en parallèle surtout oui