[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
@Cannasteve Le site screenscraper est toujours en cours de population d'information. Il n'est aujourd'hui pas encore complet. De nombreux bénévoles travaillent dessus sans relâche pour le compléter le plus vite possible. Tu peux aussi participer, il te suffit de créer un compte pour toi aussi alimenter la base de données avec tes connaissances ou, comme moi utiliser le copier/coller pour augmenter la masse d'informations nécessaire au scraper. Pour info voici les stats "actuelles" de Screenscraper :
- SYSTÈMES : 103
- JEUX : 70067
- ROMS : 85788
- TRUCS & ASTUCES : 4986
- WHEELS : 11230
- WHEELS HD : 110
- SCREENSHOTS : 22461
- BOITIERS : 5957
- SUPPORTS : 1460
- VIDÉOS : 15255
- THÈMES : 1587
- MANUELS : 2708
Plus on sera nombreux à participer, plus cette base sera vite complète
Rejoignez nous... (Oui oui c'est de la pub à peine déguisé mais c'est aussi pour le bien de recalbox et de ses utilisateur ) (En plus, je viens de regarder ta copie d'écran et je pense qu'il y a un bug chez toi, ou sur le site, voila ce que j'ai moi pour la supernes par exemple) 
-
Bonjour, Chez moi rien ne se passe, juste le fichier qui se créé et reste à 0 ko. Une idée ? Merci
-
Merci j'ai testé et finalement le scrapping fonctionne en étant sous windows, par contre je voulais directement pointer les dossier de recalbox dans la configuration UXMLS mais moi je n'ai pas de dossier \RECALBOX\Userdata\roms j'ai que \RECALBOX\roms... de plus je vois des dossiers gamelist et les downloaded images qui sont dans le dossier /root/.emulationstation sous Winscp je sais pas si ça joue du coup? Désolé si mes questions peuvent paraitre bête maisje me sens paumé, je connais qu'Hypersin et Rocketlauncher
Au final j'ai tout mis dans le dossier roms du système concerné et je test. -
Salut, Tout d'abord merci pour le soft, cela à l'air très bien. Malheureusement, il ne me télécharge aucunes images, quelque soit le dossier que je crée et que je lui indique. Il me crée seulement un gamelist, sans infos mais avec le nom des roms. Je possède des romsets connus et j'utilise un disque dur ntfs. Est-ce cela mon problème? Pour ceux, que ca fonctionne, ca vaut le coup? Combien d'émulateurs scrappe t'il complétement? Sachant que j'ai tout scrappé en Anglais. Et que ca ne me dérange pas forcément d'y rester. Merci d'avance. PS: Cela à l'air simple à utiliser mais je me demande si ca vaut pas le coup d'avoir un tuto complet avec dépannage, infos etc. pour justement éviter ces questions
-
j'ai réessayer en mettant le fichier xml généré dans: /root/.emulationstation/gamelists/nom du systeme et remplacer celui d'origine mais ca ne marche pas je ne vois pas la description des jeux ni les images d'ailleurs, en parlant des images après le scrapping je les trouve nulle part. Je vois que dans le xml c'est une url de screenzone. J'ai ensuite éditer le XML pour le path des roms en mettant ./ au lieu de \RECALBOX\roms\nom du systeme\ mais rien n'y fait.
-
@Cannasteve C'est bizarre, la seule erreur que je vois, c'est le chemin de substitution des images dans le fichier XML que tu as laissé à vide. En toutes logiques, il faut que tu y mette un chemin correspondant. Par exemple, si tu indique
\RECALBOX\roms\mastersystem\downloaded-images\
dans le chemins des images à télécharger, il faut que tu mette dans le chemin des images dans le fichier XML :
./downloaded-images/
Par contre, je vois que tu utilise le profil de la V3 ? (tu devrais passer sur la V4
elle est tellement mieux ^^) @borninthe80s la flèche centrale passe bien en vert ? tu clique dessus et ensuite elle clignote jaune/orange après avoir choisi ton système ? Quand tu dis qu'il reste à zéro, c'est parce que quand tu sélectionne le fichier dans le menu config, il le "pré-créer" à zéro. Si le scrape t'indique 0/XXX Roms trouvées, c'est autre chose peux tu me mettre la fin de ton fichier config (la partie [LAST_USE]) pour vérifier la config des chemins ? @daveheart s'il ne télécharge aucune images, cela peut venir de plusieurs choses :- Les chemins sont ils correct ? (pareil peux tu me mettre la partie [LAST_USE] de ton fichier config que je vérifie tes chemins ?)
- As tu précisé une taille pour les images ? (à priori, si tu ne précise qu'une taille, genre la largeur maximum, cela ne fonctionne pas. Il faut préciser les 2, j'ai remonté l'anomalie au site screenscraper)
- Quel System as tu testé ? certains sont vraiment incomplet, au point qu'il n'y a pas bcp d'images, mais ils sont rares...
Concernant le nombre de roms scrapé en FR, aujourd'hui, screenscraper n'est pas encore complet. Comme je le disais à Cannasteve il est tous jeune (il a ouvert en janvier) et de nombreux contributeur l'alimente tous les jours pour le rendre le plus complet possible le plus vite possible
Mais certains systèmes sont déjà "plein" ou presque (genre les CPS 1,2 et 3 (à 100%), la GBA (à 95%) la Game Gear (à 75%, je bosse dessus ^^) La megadrive (à 88%), La NEOGEO (à 99%), etc...) Il faut par contre, t'assurer de la source de tes ROMs (les set no-intro sont tous référencé par exemple) Attention aussi à une chose, il te créer toujours un fichier gamlist.xml de zéro, fait donc gaffe à pas supprimer ceux que tu as déjà scrapé au cas ou (c'est prévu pour la suite, de faire une version "Append/Update", mais ce n'est pas encore le cas ) Ah oui, dernier détails, assurez vous bien d'avoir la dernière version Version 1.0.0.5 (des petits bug découvert à droite à gauche son corrigé régulièrement ) -
Non la flèche ne change pas de couleur, et il ne se passe rien.
-
Merci screech pour les infos et les astuces. Je continue mes tests, je te tiens au jus dès que je trouve le pourquoi du comment.
-
Bonjour à tous, Mon problème avec le système GBA venait bien de mon romset. Après avoir trouvé un romset correct tout fonctionne comme sur des roulettes
Merci Screech !! -
Finalement en mettant les roms directements sur mon PC le scrapping se fait beaucoup plus vite, je suis passé à la V4 c'est beaucoup mieux, je suis reparti sur un set NO-intro Nes tout propre que j'ai clean avec ton Rom Cleaner c'est parfait! mais là je galère un peu avec mes roms Neogeo issues du set Mame2003 0.78 j'ai l'impression que fichiers ne sont pas bon.
edit: Bon j'ai check les MD5 et CRC sur screenzone en faite ils ne correspondent pas à mon set ni dans les jeux NeoGeo 150 et 144 jeux,ni dans les MAME -
@borninthe80s Vérifie bien tes chemins dans la configuration, c'est certainement à cet endroit qu'il y a un probleme (la fleche passe au vert quand les différents éléments sont correct) @daveheart Tiens moi au courant pour être sur que tout est OK
@Angelfred cool une solution de trouvé. Et merci beaucoup pour le Tuto, je l'ai mis sur ma page de Wiki : [Tuto] Comment utiliser Universal XML Scraper pour la RECALBOX @Cannasteve malheureusement, c'est un des points sur lesquels je ne peux intervenir directement... Je suis dépendant des HASH associés aux jeux sur screenscraper -
Screech serait t'il possible d'intégrer au logiciel Universal XML Editor, une fonction qui pourrait modifier les CRC et md5 de notre gamelist.xml par ceux de Screenzone? En s'appuyant juste sur le nom de rom et le système concerné, ça permettrait de forcer un scraping sans les bons hashs à la base, après faut juste que le noms de nos roms soit exactement comme sur screenzone, pas de système de matching etc.. ca rendrait les choses trop compliquées. Là j'ai téléchargé un pack de boites 3D NeoGeo elles ont le nom conventionnel au roms MAME , du coup j'ai du juste renommé les images via File Renamer Basic pour ajouter -image à la fin des noms et là j'édite l'xml que m'avait généré XML Universal Scraper en ajoutant les balises pour les images et le nom des jeux mais ça va être ultra longs^^ PS: ma méthode manuelle ne fonctionne pas en faite, j'ai du zappé quelquechose. En tout cas encore merci pour tes outils c'est super manque juste la ptite fonction
pour les hashs pas bon 
-
En fait, comme je disais, il faut que MarbleMad (sur le site de screenzone/screenscraper) ajoute d'autre CRC/MD5 à la base de données Screenscraper pour augmenter la compatibilité
je sais qu'il est pas mal occupé en ce moment donc c'est un stand by je pense. En attendant, il faudrait que je réussisse à intégrer une base de donnée nom/crc dans mon scraper, il faut que je vois avec sselph si j'ai la possibilité de réutiliser sa BDD (et que j’apprenne à m'en servir ) -
Hello Merci @screech pour tes logiciels
J'avais testé une des première alphas, il faudra que je retest tout ça pour voir les améliorations apportées. Dit voir, peu être que ce point a déjà été traité (je suis peu être passé à côté, qu quel cas, désolé), mais sous screenscraper, ils utilisent un notation de 0 à 20 et ES, lui traite de 0 à 1. Ce qui veut dire que dans les gamelist.xml, on se retrouve avec <rating>12</rating>au lieu de<rating>0.6</rating>. Serait il possible de "traduire" à la volée les notation lors du scrape ? Sinon si tu es intéressé pour joindre ton repo github à celui de recalbox, fais nous signe -
Hello @rockaddicted Aucun problème pour joindre nos 2 repo
(enfin si, 1 problème : je ne sais pas comment faire ^^) Sinon, effectivement, je vais voir pour ajouter un calcul pour le rating (ce sera dans la prochaine version... Hop : inscrit dans ma todolist ^^) -
Nikel merci pour le rating! Sinon pour ce qui concerne les repos github, je pense que el plus simple est de voir avec @retroboy soit par MP, soit en privé sur le irc.
-
Salut Screech, merci pour ton programme. je commence à l'utiliser, mais j'ai un soucis. Je le fais tourner, tout se passe bien, mais je n'ai pas l'affichage des images une fois dans l'interface. Il y a toutes les infos pour les jeux (résumé, date, éditeur etc...) mais pas de lien vers l'image dans le xml alors que ton logiciel a bien créé le dossier image et téléchargé l'image dedans. Sais tu pourquoi? Merci de ton aide
-
Pourrais-tu m'envoyer la fin de ton fichier conf (la partie [LAST_USE] ) Il est possible qu'il y ai une erreur dans le path de substitution
Ainsi qu'un copié collé d'un petit bout du xml généré (genre un ou 2 jeux) On a détecté une boulette entre le _ et le - sur le chemin downloaded_images... ça viens surement de ça... En gros, si tu as réutilisé le répertoire généré par Recalbax tu as downloaded_images. Par contre, si tu as laissé le chemin de substitution de base, tu as ./downloaded-images/ avec un - au lieu d'un _ Si c'est le cas, un simple éditeur de texte, "remplacer" <span style="line-height: 1.5;">downloaded-images en </span><span style="line-height: 1.5;">downloaded_images devrait corriger. ça évitera de tout rescraper ;)</span> (Bien penser à faire un kill emulationstation avant ) Il faut vraiment que je refasse une version rapidement (dès que j'ai 5 minutes, je recompile ) -
ce dont je me suis rendu compte, c'est qu'avant de lancer la procedure de scrape, lorsque je faiskillAll à partir de ton logiciel, il ne se passe rien du coté du raspberry, il reste allumé. Si je le fais par Putty, j'arrive sur un écran noir avec le logo recalbox, je ne sais pas si c'est bon?....
-
Effectivement, Le Killall Emulationstation devrait fonctionner (tu es le 2eme à me dire que ce n'est pas le cas. Pourtant chez moi ça fonctionne, il faut que je revois ça) Sinon, en passant par Putty, tu dois obtenir un écran noir sur ta recalbox. C'est normal. Je te laisse consulter le TUTO Mais de base, si tu as les descriptions en FR, c'est que le scrape à fonctionné. S'il n'y a que les images qui ne s'affichent pas, il s'agit surement d'un problème de chemin.
