[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
@borninthe80s Vérifie bien tes chemins dans la configuration, c'est certainement à cet endroit qu'il y a un probleme (la fleche passe au vert quand les différents éléments sont correct) @daveheart Tiens moi au courant pour être sur que tout est OK
@Angelfred cool une solution de trouvé. Et merci beaucoup pour le Tuto, je l'ai mis sur ma page de Wiki : [Tuto] Comment utiliser Universal XML Scraper pour la RECALBOX @Cannasteve malheureusement, c'est un des points sur lesquels je ne peux intervenir directement... Je suis dépendant des HASH associés aux jeux sur screenscraper -
Screech serait t'il possible d'intégrer au logiciel Universal XML Editor, une fonction qui pourrait modifier les CRC et md5 de notre gamelist.xml par ceux de Screenzone? En s'appuyant juste sur le nom de rom et le système concerné, ça permettrait de forcer un scraping sans les bons hashs à la base, après faut juste que le noms de nos roms soit exactement comme sur screenzone, pas de système de matching etc.. ca rendrait les choses trop compliquées. Là j'ai téléchargé un pack de boites 3D NeoGeo elles ont le nom conventionnel au roms MAME , du coup j'ai du juste renommé les images via File Renamer Basic pour ajouter -image à la fin des noms et là j'édite l'xml que m'avait généré XML Universal Scraper en ajoutant les balises pour les images et le nom des jeux mais ça va être ultra longs^^ PS: ma méthode manuelle ne fonctionne pas en faite, j'ai du zappé quelquechose. En tout cas encore merci pour tes outils c'est super manque juste la ptite fonction
pour les hashs pas bon 
-
En fait, comme je disais, il faut que MarbleMad (sur le site de screenzone/screenscraper) ajoute d'autre CRC/MD5 à la base de données Screenscraper pour augmenter la compatibilité
je sais qu'il est pas mal occupé en ce moment donc c'est un stand by je pense. En attendant, il faudrait que je réussisse à intégrer une base de donnée nom/crc dans mon scraper, il faut que je vois avec sselph si j'ai la possibilité de réutiliser sa BDD (et que j’apprenne à m'en servir ) -
Hello Merci @screech pour tes logiciels
J'avais testé une des première alphas, il faudra que je retest tout ça pour voir les améliorations apportées. Dit voir, peu être que ce point a déjà été traité (je suis peu être passé à côté, qu quel cas, désolé), mais sous screenscraper, ils utilisent un notation de 0 à 20 et ES, lui traite de 0 à 1. Ce qui veut dire que dans les gamelist.xml, on se retrouve avec <rating>12</rating>au lieu de<rating>0.6</rating>. Serait il possible de "traduire" à la volée les notation lors du scrape ? Sinon si tu es intéressé pour joindre ton repo github à celui de recalbox, fais nous signe -
Hello @rockaddicted Aucun problème pour joindre nos 2 repo
(enfin si, 1 problème : je ne sais pas comment faire ^^) Sinon, effectivement, je vais voir pour ajouter un calcul pour le rating (ce sera dans la prochaine version... Hop : inscrit dans ma todolist ^^) -
Nikel merci pour le rating! Sinon pour ce qui concerne les repos github, je pense que el plus simple est de voir avec @retroboy soit par MP, soit en privé sur le irc.
-
Salut Screech, merci pour ton programme. je commence à l'utiliser, mais j'ai un soucis. Je le fais tourner, tout se passe bien, mais je n'ai pas l'affichage des images une fois dans l'interface. Il y a toutes les infos pour les jeux (résumé, date, éditeur etc...) mais pas de lien vers l'image dans le xml alors que ton logiciel a bien créé le dossier image et téléchargé l'image dedans. Sais tu pourquoi? Merci de ton aide
-
Pourrais-tu m'envoyer la fin de ton fichier conf (la partie [LAST_USE] ) Il est possible qu'il y ai une erreur dans le path de substitution
Ainsi qu'un copié collé d'un petit bout du xml généré (genre un ou 2 jeux) On a détecté une boulette entre le _ et le - sur le chemin downloaded_images... ça viens surement de ça... En gros, si tu as réutilisé le répertoire généré par Recalbax tu as downloaded_images. Par contre, si tu as laissé le chemin de substitution de base, tu as ./downloaded-images/ avec un - au lieu d'un _ Si c'est le cas, un simple éditeur de texte, "remplacer" <span style="line-height: 1.5;">downloaded-images en </span><span style="line-height: 1.5;">downloaded_images devrait corriger. ça évitera de tout rescraper ;)</span> (Bien penser à faire un kill emulationstation avant ) Il faut vraiment que je refasse une version rapidement (dès que j'ai 5 minutes, je recompile ) -
ce dont je me suis rendu compte, c'est qu'avant de lancer la procedure de scrape, lorsque je faiskillAll à partir de ton logiciel, il ne se passe rien du coté du raspberry, il reste allumé. Si je le fais par Putty, j'arrive sur un écran noir avec le logo recalbox, je ne sais pas si c'est bon?....
-
Effectivement, Le Killall Emulationstation devrait fonctionner (tu es le 2eme à me dire que ce n'est pas le cas. Pourtant chez moi ça fonctionne, il faut que je revois ça) Sinon, en passant par Putty, tu dois obtenir un écran noir sur ta recalbox. C'est normal. Je te laisse consulter le TUTO Mais de base, si tu as les descriptions en FR, c'est que le scrape à fonctionné. S'il n'y a que les images qui ne s'affichent pas, il s'agit surement d'un problème de chemin.
-
je ne sais pas si c'est normal, mais si je regarde le lien de l'image d'un jeu depuis mon pc, ça se présente comme ça : RECALBOX\User data\roms\mastersystem\downloaded-images\nomdujeu.jpg tandis que si j'édite les données du jeu depuis recalbox et que je regarde le chemin de l'image lié au jeu, y'a un truc comme RECALBOX/Share/roms/mastersystem/downloaded-images/nomdujeu.jpg donc y'a Share à la place de User Data dans le chemin, est ce normal?
-
.
-
Normalement, dans le fichier XML (et donc quand tu regardes les infos depuis la recalbox) le chemin devrait être : ./downloaded_images/nomdujeu-image.jpg Ce qui confirme que la config du scraper n'est pas bonne.... Peux tu me faire un copier coller des dernières lignes du fichier config (la partie [LAST USE] )
-
@rockaddicted C'est fait
c'est corrigé pour le rating sur 1 au lieu de sur 20 Voici les corrections de la derniere version : Version 1.0.0.6- Ajout d'une mise à jour des fichiers en cas de MaJ (En cas de MaJ, les differents fichiers du soft, donc le fichier config, sera aussi mis à jour
- Ajout des images systèmes après le choix des systèmes
- Ajout d'un calcul pour que les ratings soit sur 1 plutot que sur 20 dans le cas de la recalbox
- Correction du chemin de substitution des images dans le profile standard (_ au lieu de - sur le rep "downloaded_images")
- Ajout d'une mise à jour des fichiers en cas de MaJ (En cas de MaJ, les differents fichiers du soft, donc le fichier config, sera aussi mis à jour
-
@Mathieu Cassou Oui c'est normal c'est le dossier partagé que tu vois sous Windows, il faut juste que dans ton gamelist.xml présent dans le dossier roms le chemin du dossier image soit bon <image>**./downloaded-images/**MARIO-image.png</image>
-
Je ne comprends vraiment pas...j'ai enfin réussi à scrapper les jeux, mais c'est hyper aléatoire.... soit il me met les infos des jeux dans l'interface, mais sans l'image, soit il met aucune info, juste les noms des jeux, soit tout est nickel. Le seul moyen que j'ai trouvé pour que ça marche, c'est d'effacer à chaque fois les fichier lié au logiciel : UXS-config.ini, le dossier Ressources etc... et ne laisser que l'exe et lancer l'opération à nouveau...je ne sais pas trop....
-
Encore une fois, tant que tu n'aurais pas posté un copier collé de la partie [LAST USE] qui est à la fin du fichier de conf, je ne peux pas beaucoup t'aider... Hormis que d'après ce que tu dis il faut bien que tu vérifie tes chemins... Je suis sur que c'est ça qui n'est pas correctement mis dans la partie configuration....
-
j'ai un probleme avec le systeme neogeo. il mouline pendant des plombes (le hash doit durer au moins 15min pour meme pas 20 jeux et au final , il reussi 0 scrape... voici la fin du fichier conf : [LAST_USE] $PathRom =\RECALBOX\User data\roms\neogeo\ $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\neogeo\gamelist.xml $PathImage =\RECALBOX\User data\roms\neogeo\downloaded-images\ $PathImageSub =./downloaded_images/ $No_Profil =1 $user_lang = 040c $HauteurImage = $LargeurImage =
-
Alors, concernant les path :
$PathImage =\RECALBOX\User data\roms\neogeo\downloaded-images\ $PathImageSub =./downloaded_images/
il y a une erreur : Tu indiques au scraper de télécharger les image dans un répertoire downloaded-images Et tu indique à Recalbox qu'il les trouvera dans un répertoire downloaded_images (note la subtilité sur le - et le _ ) Donc forcement, les images sont bien téléchargé, mais recalbox ne les trouve pas. Concernant les Roms Neogeo, tous dépend d'ou elles viennent, déjà les fichiers sont plus gros (ce qui explique le temps de Hash plus, long, ça va plus vite de calculer un hash sur un fichier de quelques Ko sur NES, c'est plus long pour quelques Mo sur NeoGeo) Ensuite, le site screenscraper sur lequel je me base pour récupérer les infos ne contient pas encore tous les Hash du monde
Il est donc possible, qu'en fonction du set que tu possèdes, les hash ne soient pas présent. Le plus simple pour vérifier : tu regardes le fichier xml que le scraper t'as généré, tu prends le premier jeu et tu notes sont Hash. Tu vas ensuite sur le site de screenscraper, tu recherches ton jeu, et tu regarde la liste des roms rattachées pour voir si ton hash est bien présent. Si c'est le cas, c'est un bug de mon coté si ce n'est pas le cas, c'est que ta rom n'est pas encore référencée.... -
Yop du coup quelques questions : - La recherche du scrape se fait uniquement par hash ? Car mes roms ne sont pas en zip pour la plupart des systèmes,, elles proviennent de GoodSet extraits et longuement triés par genre - Toutes mes roms sont sur un HD externe du coup il est plus simple et plus rapide de scraper directement sur le disque en le branchant au PC, mais la fois où j'ai essayé ça n'a pas eu l'air de marcher, faut il obligatoirement scraper par réseau sur la recalbox ? - Pour le mode 'big picture' les images sont bien récupérés en grande taille et 600*600 par exemple et pas juste resizées après téléchargement ? Est ce qu'on peut tout simplement les récupérer dans leur taille d'origine ?
