[SOFT] Universal XML Scraper V2

[Pegoncology]

Merci à vous @voljega et @screech pour la confirmation.
Je suppose que c'est l'équipe de Recalbox qui devrait changer la mise en place des favoris en dehors du xml pour qu'on puisse régler le problème et qu'il n'y a pas de solution technique via Universal XML Scrapper.

[clad-strife]

@screech
Pour cette fois la je l'ai arrêter manuellement, mais sinon le logiciel demande si je veux arrêter emultionstation et je n'ai jamais eu de soucis quand je valider la demande.

Bon le soucis est résolu, même si je ne sais pas d'ou venait le problème, en tout cas c'est vraiment top, les sets sont bien scrappé et c'est super agréable quand on navigue dans l'interface.

[Elemiah]

Bonjour,
Savez-vous si USX est compatible avec Windows Vista ? Je ne trouve pas d'information sur la compatibilité des systèmes et j'ai un message comme quoi USX à cesser de fonctionner au démarrage de l'appli.
En tout cas ce programme à l'air vraiment top ! Bravo

[screech]

ça fonctionne sur W7 et W10 sans problème, pour Vista, je n'ai personnellement jamais testé :S
Je ne peux pas t'en dire plus ^^'

[Elemiah]

@screech D'accord merci beaucoup en tout cas il va falloir investir alors,
comment ça j'ai une vieille bécane

[voljega]

@elemiah tu peux réinstaller W7 sur ta vieille bécane sinon vraisemblablement je l'ai déjà fait pour quelques pcs sous vista, 7 est un poil moins lourd en fait

aussi rajouter un peu de ram ou changer le dd par un SSD a un effet hyper radical sur les perfs je viens de le faire pour mon pc de dev qui était à l'ouest et ça roule du tonnerre maintenant

[Pegoncology]

Bonjour @screech. Malgré 6 threads, depuis 2 jours, j'ai un scrape hyper lent (2h pour 120 eboots PSX). Auparavant j'ai pu faire 1000 roms SNES en 2 minutes. Mon réseau est identique et la connexion rapide.
Y a-t-il un problème avec le serveur de screenscraper ? Est-ce le fait qu'un eboot fait 400Mo pour 3Mo la rom SNES ? Ou bien j'ai fait une fausse manip...
Merci pour ton aide

[screech]

la longueur est du au temps de hash :S
En gros, hasher un fichier de 1 ou 2Mo c'est en ms mais hasher un fichier de 700Mo c'est en minute

Et sinon, quelques solutions pour accelerer le scrape de gros fichiers : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/ISO-Scrape-Freeze-or-are-very-long

[Pegoncology]

Merci. En effet le hash est très long. Je vais tester tes astuces. Merci

[Pegoncology]

@screech Nouvelle petite question : comment fait-on, via le logiciel, pour qu'en créant le XML, on ait le nom des jeux avec le déterminant à l'arrière. Par exemple "Addams Family, The" au lieu de "The Addams Family" ?
Est-ce possible ?
Ou bien on doit créer le XML via Recalbox et faire le scrape des roms manquantes par après via Universal XML Scraper ?
Merci

[screech]

@pegoncology pour le moment cette option n'existe pas. Uxs se contente du nom fournit par screenscraper (+ d'éventuels options )

[Pegoncology]

Ok merci.
Concernant le scrape PSX (en eboot), j'ai des soucis avec certains jeux. J'ai l'impression que le nom doit être exactement le même que dans la DB de Screenscraper et même pour 2-3 jeux cela ne prend pas. Je suppose que les eboot n'ont pas de CRC et que donc le scrape est difficile.
Je suppose aussi que l'ajout de Screenscraper intégré dans la future version de Recalbox va palier le problème pour ces jeux isolés qu'on arrive pas à scraper.

[Pegoncology]

@screech En fait je viens de me rendre compte que c'est peut-être un bug dans le logiciel et la DB de screenscraper. Ca ne concerne que les jeux qui ont un ":" dans le titre.
Par exemple, chez moi c'est Lunar 2 - Eternal Blue et dans la DB c'est Lunar 2 : Eternal Blue. Pas de scrape. Idem si je modifie en "Lunar 2 Eternal Blue". En fait il faudrait que le fichier soit écrit avec le : mais le : n'est pas reconnu dans les caractères des fichiers Windows.
Y a-t-il une solution ?
Ou bien j'ai zappé une option dans le logiciel ?

[Choum]

SI ton jeu ne dispose pas d'un CRC md5 reconnu par screenscrapper,
Il suffit de renommer la rom comme l'une des roms reconnus par screenscrapper.
Si je prend ton exemple (je suppose PSX)
Si tu renommes ton fichier en "Lunar 2 - Eternal Blue Complete" il sera reconnu.

[Pegoncology]

Non justement, il refuse de prendre les - à la place des : et il laisse les jeux comme inconnus.
J'ai donc (dans mon set) une vingtaine de roms qu'on ne sait pas scraper. Evidemment en solution de rechange j'utilise le scraper anglais intégré (vu que je suis en 4.0.2)

[Biblo]

J'avais eu le problème avec un jeu snes du genre Super_Mario_World et en retirant les _
donc: Super Mario World il a réussi à le scraper, essaye plusieurs configuration genre Lunar 2 tout seul etc... ça n'a pas marché pour mon zelda snes toujours pas réussi à récupérer son image

En revanche je galère beaucoup avec mes jeux pc engine cd sur 20 il en a scraper 2 et tu ne peux pas modifier le nom sous peine que le jeu ne pourra plus se lancer, cela peut être du au faite que pour certain jeux il faut éditer le nom dans le fichier .cue ??
Si quelqu'un a une solution je suis preneur car c'est une de mes console de prédilection:)

quoiqu'il en soit Screech félicitation pour ton logiciel.

[screech]

Petit Rappel sur le "comment les jeux sont retrouvé" :

En premier lieu UXS "Hash" les fichiers (CRC32, MD5, SHA1).
Grace à ce hash, il cherche dans la BDD une rom avec le même Hash (il test les 3 )
S'il ne trouve pas, il fait une recherche sur le "nom de fichier" pour voir si une rom dans la BDD à le même "nom de fichier" (sans l'extension).
Attention, il s'agit bien d'un matching "nom de fichier" et pas du tout "nom du jeu".

Du coup, si malgré cela il ne trouve toujours pas votre rom :

• Changez de rom et prenez en une plus "connue" (la votre n'est vraiment pas référencé pour le moment)
• Renommez votre Rom comme une rom présente dans la BDD (pour cela ouvrez la fiche du jeu sur Screenscraper, et regarder dans les ROM/ISO listé).

Pour information, quand une rom est scrapé par plus de 10 personnes différentes, elle est automatiquement proposé à l'association.
Ce qui signifie que si votre Hash n'est pas trouvé, c'est que votre rom, malgré les plus de 2 000 000 de requêtes par jour n'a pas été scrapé plus de 10 fois ^^
(Attention, cela ne s'applique pas au rom/iso de plus de 200Mo, pour accélérer le process de scrape, le hash est partiel et ne peut donc pas etre remonté via l'API pour une proposition automatique, il ne fait une recherche que via le MD5 et/ou le nom de fichier)

concernant le PC Engine CD, le renommage Bin/cue est possible, mais il faut faire bien attention a ce que les 2 fichiers aient le même nom et que le cue contiennent bien le nouveau nom du bin)

[Pegoncology]

J'avais déjà essayé toutes les solutions proposées sans succès. Je pense que le fait que ce sont d'une part des pbp (eboot) et d'autre part des jeux PSX (moins scrappés à mon avis que les SNES etc) fait qu'en effet, ils ne sont pas reconnus.
J'ai tout tenté, changement de nom, rechercher par nom de fichier, rien n'y fait.
Par contre le scrape (anglais) intégré le détecte directement.
Pour ma part je vais attendre l'intégration de Screenscraper dans la 4.2, ça réglera le problème certainement et je le ferai manuellement via Recalbox.

@Biblo oui si tu changes les noms des images CD des fichiers sous Windows, tu dois impérativement ouvrir le cue avec notepad et changer le nom également dedans car le cue redirige vers le bin avec la dénomination exacte. Sinon ton émulateur ne prend pas l'image

[Biblo]

Merci beaucoup pour votre aide, cela veut dire qu'avec le nom de ce fichier .cue edité via notepad++ AKUMAJOU DRACULA X - CHI NO RONDO [J] [S-CD²].BIN je peut le transformer en dracula x tout court en prenant le soin ensuite de copier/coller sur les fichier .cue/.bin? car j'ai justement de gros problème pour lancer ce jeu.

pour pouvoir le scraper je suppose que le nom devra être le même que sur le site screenscraper en l’occurrence celui la Akumajou_Dracula_X_-Chi_no_Rinne(NTSC-J)_[KMCD3005].cue ?? pas vraiment plus court ^^ mais qui au final sera reconnu? pas évident à comprendre compte tenu que pour être émulé plusieurs personnes disent qu'il faut enlever les majuscules et symboles, de quoi plus rien comprendre ^^

je sais pas si j'ai tout bien saisi mais je compte sur vous pour me le dire
Cordialement.

PS: petite question bête (oui encore une) peut on coller sur un jeux une adresse du type CRC/MD5/SHA1 pourquelle soit reconnu, un peu comme si on voulait leur mettre un lien internet dessus pour aller chercher l'image?

[screech]

@Pegoncology Pour Lunar 2,
essaye de renommer ton fichier
Si c'est sur megaCD : "Lunar Eternal Blue.EXT"
Si c'est sur PSX : "Lunar 2 - Eternal Blue Complete (USA) (Disc 1).EXT"
Si c'est sur Saturn (lol) : "Lunar II Eternal Blue Disc 1 of 2 (J)(Saturn).EXT"

@Biblo A priori, je dirais "c'est ça" ^^ et je n'ai jamais entendu parlé de problème de nom de fichier (majuscule/minuscule) au niveau des émulateurs (mais bon ^^ je sais pas tout non plus :p)

Pour la petit question bonus, c'est "impossible". Les hash (CRC/MD5/SHA1) sont des calculs qui se font sur le fichier. En théorie, chaque fichier donne un résultat différent (pour les puriste c'est plus ou moins vrai mais bon c'est suffisant dans notre cas ) Il est donc impossible d'assigner un Hash à un fichier autre que le "sien"