[SOFT] Universal XML Scraper V2
-
Bonjour @screech. Malgré 6 threads, depuis 2 jours, j'ai un scrape hyper lent (2h pour 120 eboots PSX). Auparavant j'ai pu faire 1000 roms SNES en 2 minutes. Mon réseau est identique et la connexion rapide.
Y a-t-il un problème avec le serveur de screenscraper ? Est-ce le fait qu'un eboot fait 400Mo pour 3Mo la rom SNES ? Ou bien j'ai fait une fausse manip...
Merci pour ton aide -
la longueur est du au temps de hash :S
En gros, hasher un fichier de 1 ou 2Mo c'est en ms mais hasher un fichier de 700Mo c'est en minute
Et sinon, quelques solutions pour accelerer le scrape de gros fichiers : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/ISO-Scrape-Freeze-or-are-very-long
-
Merci. En effet le hash est très long. Je vais tester tes astuces. Merci
-
@screech Nouvelle petite question : comment fait-on, via le logiciel, pour qu'en créant le XML, on ait le nom des jeux avec le déterminant à l'arrière. Par exemple "Addams Family, The" au lieu de "The Addams Family" ?
Est-ce possible ?
Ou bien on doit créer le XML via Recalbox et faire le scrape des roms manquantes par après via Universal XML Scraper ?
Merci -
@pegoncology pour le moment cette option n'existe pas. Uxs se contente du nom fournit par screenscraper (+ d'éventuels options )
-
Ok merci.
Concernant le scrape PSX (en eboot), j'ai des soucis avec certains jeux. J'ai l'impression que le nom doit être exactement le même que dans la DB de Screenscraper et même pour 2-3 jeux cela ne prend pas. Je suppose que les eboot n'ont pas de CRC et que donc le scrape est difficile.
Je suppose aussi que l'ajout de Screenscraper intégré dans la future version de Recalbox va palier le problème pour ces jeux isolés qu'on arrive pas à scraper. -
@screech En fait je viens de me rendre compte que c'est peut-être un bug dans le logiciel et la DB de screenscraper. Ca ne concerne que les jeux qui ont un ":" dans le titre.
Par exemple, chez moi c'est Lunar 2 - Eternal Blue et dans la DB c'est Lunar 2 : Eternal Blue. Pas de scrape. Idem si je modifie en "Lunar 2 Eternal Blue". En fait il faudrait que le fichier soit écrit avec le : mais le : n'est pas reconnu dans les caractères des fichiers Windows.
Y a-t-il une solution ?
Ou bien j'ai zappé une option dans le logiciel ? -
SI ton jeu ne dispose pas d'un CRC md5 reconnu par screenscrapper,
Il suffit de renommer la rom comme l'une des roms reconnus par screenscrapper.
Si je prend ton exemple (je suppose PSX)
Si tu renommes ton fichier en "Lunar 2 - Eternal Blue Complete" il sera reconnu. -
Non justement, il refuse de prendre les - à la place des : et il laisse les jeux comme inconnus.
J'ai donc (dans mon set) une vingtaine de roms qu'on ne sait pas scraper. Evidemment en solution de rechange j'utilise le scraper anglais intégré (vu que je suis en 4.0.2) -
J'avais eu le problème avec un jeu snes du genre Super_Mario_World et en retirant les _
donc: Super Mario World il a réussi à le scraper, essaye plusieurs configuration genre Lunar 2 tout seul etc... ça n'a pas marché pour mon zelda snes toujours pas réussi à récupérer son image
En revanche je galère beaucoup avec mes jeux pc engine cd sur 20 il en a scraper 2 et tu ne peux pas modifier le nom sous peine que le jeu ne pourra plus se lancer, cela peut être du au faite que pour certain jeux il faut éditer le nom dans le fichier .cue ??
Si quelqu'un a une solution je suis preneur car c'est une de mes console de prédilection:)quoiqu'il en soit Screech félicitation pour ton logiciel.
-
Petit Rappel sur le "comment les jeux sont retrouvé" :
En premier lieu UXS "Hash" les fichiers (CRC32, MD5, SHA1).
Grace à ce hash, il cherche dans la BDD une rom avec le même Hash (il test les 3
)
S'il ne trouve pas, il fait une recherche sur le "nom de fichier" pour voir si une rom dans la BDD à le même "nom de fichier" (sans l'extension).
Attention, il s'agit bien d'un matching "nom de fichier" et pas du tout "nom du jeu".Du coup, si malgré cela il ne trouve toujours pas votre rom :
- Changez de rom et prenez en une plus "connue" (la votre n'est vraiment pas référencé pour le moment)
- Renommez votre Rom comme une rom présente dans la BDD (pour cela ouvrez la fiche du jeu sur Screenscraper, et regarder dans les ROM/ISO listé).
Pour information, quand une rom est scrapé par plus de 10 personnes différentes, elle est automatiquement proposé à l'association.
Ce qui signifie que si votre Hash n'est pas trouvé, c'est que votre rom, malgré les plus de 2 000 000 de requêtes par jour n'a pas été scrapé plus de 10 fois ^^
(Attention, cela ne s'applique pas au rom/iso de plus de 200Mo, pour accélérer le process de scrape, le hash est partiel et ne peut donc pas etre remonté via l'API pour une proposition automatique, il ne fait une recherche que via le MD5 et/ou le nom de fichier)concernant le PC Engine CD, le renommage Bin/cue est possible, mais il faut faire bien attention a ce que les 2 fichiers aient le même nom et que le cue contiennent bien le nouveau nom du bin)
-
J'avais déjà essayé toutes les solutions proposées sans succès. Je pense que le fait que ce sont d'une part des pbp (eboot) et d'autre part des jeux PSX (moins scrappés à mon avis que les SNES etc) fait qu'en effet, ils ne sont pas reconnus.
J'ai tout tenté, changement de nom, rechercher par nom de fichier, rien n'y fait.
Par contre le scrape (anglais) intégré le détecte directement.
Pour ma part je vais attendre l'intégration de Screenscraper dans la 4.2, ça réglera le problème certainement et je le ferai manuellement via Recalbox.@Biblo oui si tu changes les noms des images CD des fichiers sous Windows, tu dois impérativement ouvrir le cue avec notepad et changer le nom également dedans car le cue redirige vers le bin avec la dénomination exacte. Sinon ton émulateur ne prend pas l'image
-
Merci beaucoup pour votre aide, cela veut dire qu'avec le nom de ce fichier .cue edité via notepad++ AKUMAJOU DRACULA X - CHI NO RONDO [J] [S-CD²].BIN je peut le transformer en dracula x tout court en prenant le soin ensuite de copier/coller sur les fichier .cue/.bin? car j'ai justement de gros problème pour lancer ce jeu.
pour pouvoir le scraper je suppose que le nom devra être le même que sur le site screenscraper en l’occurrence celui la Akumajou_Dracula_X_-Chi_no_Rinne(NTSC-J)_[KMCD3005].cue ?? pas vraiment plus court ^^ mais qui au final sera reconnu? pas évident à comprendre compte tenu que pour être émulé plusieurs personnes disent qu'il faut enlever les majuscules et symboles, de quoi plus rien comprendre ^^
je sais pas si j'ai tout bien saisi mais je compte sur vous pour me le dire
Cordialement.PS: petite question bête (oui encore une) peut on coller sur un jeux une adresse du type CRC/MD5/SHA1 pourquelle soit reconnu, un peu comme si on voulait leur mettre un lien internet dessus pour aller chercher l'image?
-
@Pegoncology Pour Lunar 2,
essaye de renommer ton fichier
Si c'est sur megaCD : "Lunar Eternal Blue.EXT"
Si c'est sur PSX : "Lunar 2 - Eternal Blue Complete (USA) (Disc 1).EXT"
Si c'est sur Saturn (lol) : "Lunar II Eternal Blue Disc 1 of 2 (J)(Saturn).EXT"@Biblo A priori, je dirais "c'est ça" ^^ et je n'ai jamais entendu parlé de problème de nom de fichier (majuscule/minuscule) au niveau des émulateurs (mais bon ^^ je sais pas tout non plus :p)
Pour la petit question bonus, c'est "impossible". Les hash (CRC/MD5/SHA1) sont des calculs qui se font sur le fichier. En théorie, chaque fichier donne un résultat différent (pour les puriste c'est plus ou moins vrai mais bon c'est suffisant dans notre cas
) Il est donc impossible d'assigner un Hash à un fichier autre que le "sien" Clean your Romset with Universal ROM Cleaner
Scrape your Romset with Universal XML Scraper -
Je vais essayer de me dépatouiller avec tout ça ^^ merci encore d'avoir pris de ton temps.
-
Ok Screech avec les noms de Screenscraper ça va vraiment mieux bien que certain sont récalcitrant notamment celui la
Tengai Makyou - Deden no Kabuki-den (Japan).cue qui ne passe pas je le marque en cas ou il y a quelque chose à faire ^^Merci encore pour ton aide.
Cordialement
-
@biblo said in [SOFT] Universal XML Scraper V2:
Tengai Makyou - Deden no Kabuki-den (Japan)
Il y a 2 autres fichier associé à ce jeu, essaye :
Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Rev 2).cue
ou
Far East of Eden - Tengai Makyou - Fuun Kabuki-den (Japan) (Sample) (Rev 1).cue(Meme si c'est noté "sample", la rom est rattaché à la meme fiche de jeu
donc ça devrait marcher...)EDIT :
Après vérification, je pense que UXS trouve bien la fiche du jeu ^^ mais celle si est "vide"...
Il y a quelques jeu comme ça ou notre BDD a des lacunes
Un conseil : créer toi un compte sur https://www.screenscraper.fr
Et remplis la fiche (Screenshot, wheels, synopsys,genre, date, nb de joueurs,...) comme ça tu récupéreras les infos correctement au scrape (et tu pourras créer des MIX avec UXS si tu les utilise et ça aidera les autres qui scraperait le même jeu ^^ -
Effectivement aucun des deux n'a donné de résultat, je vais suivre ton conseil de toute façon ce n'était qu'une question de temps avant que je le fasse, avec un ptit tour à la caisse pour aider les personnes du site
En revanche remplir la fiche et l'utilisation de UXS jamais fait encore je vais regarder ça de plus prêt.Merci d'avoir regardé
-
@Biblo Si par petit tour à la caisse tu veux dire "participation financière", sache que ce n'est nullement obligatoire (même si ça aide pour payer l'infra ^^) on préfère, et de loin, les participations en "données".
C'est pour cette raison qu'il est plus facile de "gagner" des threads supplémentaires pour accélérer ton scrape en faisant des propositions d'ajout (média, ou information) qu'en faisant un donScreenscraper, meme s'il commence à devenir une des BDD les plus complete du web a encore quelques "lacunes" et certains systemes sont "pauvres" ^^ On est preneur de toutes l'aide qui pourrait etre apportée, surtout sur des systemes exotiques et peu utiliser (je pense qu'on est pas mal pour les Systemes Sega et Nintendo par exemple) par contre, CPC, Amiga, Atari par exemple c'est vraiment "compliqué" et "énorme" comme taf
-
Je contribuerai dans la mesure de mon possible le temps de me familiariser avecScreenscraper, comment uploader les images etc etc..
j'ai pas mal de jeux en boitier sur pc engine qui me reste notamment certain ou il n'y a pas de jaquette sur le site, mais la comme ça on a un peu peur de faire des bêtise il y a pas mal d'info à gérer de partout sur le site ^^
Sinon comment fait on pour obtenir(réaliser) le boitier 3D celui utilisé lors des scrapes?
