[Obsolète][TUTO] Scraper ses jeux depuis son PC plus efficacement.

[NeeeeB]

Bonjour à tous !! Si vous êtes comme moi et que vous aimez avoir les choses le plus carrées possibles, alors mon petit tuto risque de vous intéresser. On va traiter du scraping, ou de comment récupérer les jaquettes et descriptions des jeux de notre chère Recalbox. Comme vous le savez, il y a un scraper intégré à EmulationStation, mais celui est moyennement efficace, et surtout lent comme une vieille lol. Donc, je vais vous montrer comment scraper rapidement et efficacement vos roms, à l'aide du génial scraper de sselph. L'avantage, c'est que c'est bien plus rapide, plus précis, et que c'est faisable directement depuis un PC, qu'il soit sous windows ou linux, peu importe !!! (ça marche aussi sous Mac d'ailleurs, mais comme Apple et moi on est pas copain du tout, bah je laisserai les apple addict se démer*** lol) Les prérequis : - Un PC. - le binaire précompilé du scraper pour votre OS : https://github.com/sselph/scraper/releases - WinSCP : http://winscp.net/eng/download.php#download2 Je vais expliquer comment tout ça fonctionne sous Windows, parce que c'est ce que j'utilise, que c'est ce qu'il y a de plus courant, et que selon moi, les utilisateurs Linux sont normalement assez compétents pour pouvoir adapter mon tuto à leur OS. Pour les Mac users, débrouillez vous, fallait pas entrer dans la secte de Mr Jobs lol. - Première étape : Disons que vous voulez scraper vos roms Snes. Créez un répertoire Snes sur votre PC. Placez dedans toutes vos roms Snes, au format .smc de préférence. Placez y également le scraper.exe que vous avez récupéré dans les prérequis. Vous êtes maintenant prêts à scraper vos roms Snes. - Deuxième étape : Faites Shift+click droit dans le répertoire, et choisissez "ouvrir une fenêtre de commandes ici". tapez : scraper.exe -image_path="~/.emulationstation/downloaded_images/NOM_DU_SYSTEME" -no_thumb=true -max_width=375 et appuyez sur entrée. (remplacez NOM_DU_SYSTEME par ce que vous allez scraper, par exemple nes, snes, mastersystem etc etc...) Laissez faire. PS: pour les roms MAME ou FBA utilisez cette commande (attention de mettre mame ou fba selon le dossier que vous voulez utiliser): scraper.exe -mame -mame_img "m,t,s" -image_path="~/.emulationstation/downloaded_images/mame_ou_fba" -no_thumb=true -max_width=375 - Troisième étape : On va maintenant utiliser WinSCP pour transférer le dossier d'images et le fichier gamelist.xml sur le Pi. Assurez vous que votre pi est allumé, et relié à internet (par câble éthernet ou par wifi peu importe). Lancez WinSCP, et dans la fenêtre qui apparait, remplissez comme suit : File protocol : SCP Host name : adresse IP de votre Pi (à votre charge de la récupérer, depuis l'interface de gestion de votre box par exemple). Port number : 22 User name : root password : recalboxroot Cliquez enfin sur Login, et vous accédez à l'interface de WinSCP. Sur la gauche, c'est l'arborescence de votre PC. Sur la droite, c'est l'arborescence de votre Pi. Commencez par faire Ctrl + Alt + H pour afficher les dossiers cachés. Sur la gauche, rendez vous dans le dossier que vous venez de scraper, pour y retrouver le dossier d'images et le fichier gamelist.xml. Sur la droite, commencez par vous rendre dans /root/.emulationstation/downloaded_images/ Quand vous y êtes, sur la gauche, faites un click droit sur votre dossier d'images, et choisissez "upload" Une fois l'upload du dossier finie, faites un click droit dessus (partie droite) et choisissez propriétés, et réglez les droits sur RW-R--R-- (ou 0644 pour aller plus vite). Ensuite, toujours sur la droite, rendez vous dans /root/.emulationstation/gamelists/nom_du_système/ Quand vous y êtes, sur la gauche, faites un click droit sur votre fichier gamelist.xml, et choisissez "upload" Acceptez de remplacer le fichier déjà existant par le votre. Quand c'est fini, faites un click droit sur le fichier gamelist.xml (partie droite) et choisissez propriétés, et réglez les droits sur RW-R--R-- (ou 0644 pour aller plus vite). Vous pouvez maintenant fermer WinSCP et rebooter votre Pi. Une fois le reboot terminé, vous devriez maintenant avoir toutes les images et descriptions de vos jeux !!! Il ne vous reste plus qu'à renouveler l'opération pour le set de roms suivant. PS: ça parait fastidieux, mais lorsqu'on l'a fait une fois, c'est beaucoup plus rapide les fois d'après. PS2 : n'hésitez pas si vous avez des questions, j'essayerai d'y répondre du mieux possible.

[acris]

Bonjour NeB merci pour ce tutoriel Depuis le temps que je cherchais comment scraper à partir de mon pc. Mais avant avec tous ce que j ai fait il faut surtout que je supprime mes doublons.

[NeeeeB]

Hello. Ravi de pouvoir aider un peu la communauté. Effectivement avant de commencer le scraping il est préférable de faire le tri dans les roms pour avoir quelque chose le plus propre possible. Moi ce que j'ai fait pour nes, snes, mastersystem, megadrive et n64, j'ai cherché les romsets no-intro. En tapant "sets no-intro e**para****" dans google c'est le premier lien, celui qui mène au forum du paradis de l'émulation en anglais lol. Je me suis donc procuré les romsets, et ensuite j'ai méthodiquement supprimé les version US et JAP des roms, de manière à ne garder que les versions europe. Sous windows j'ai tout simplement tapé "japan" ou "USA" dans la case recherche dans mon dossier de roms, et j'ai supprimé tout ce qui était retourné par la recherche. Ca fait déjà un bon dégraissage. Et si j'ai envie d'un jeu qui serait sorti uniquement au japon par exemple, je l'ajouterai à la main, et le scraperai depuis emulationstation. Là honnêtement je pense avoir quelque chose de carré pour mes roms, images comprises.

[rockaddicted]

Merci pour ce tuto, en effet j'utilise ce scraper depuis quelques semaines et c'est vrai que le fait qu'il se base sur un comparaison des hash est nettement plus efficace que le scraper intégré à base de comparaison avec les noms de roms. Perso je l'utilise avec ces options la -image_path="~/.emulationstation/downloaded_images/NOM_DU_SYSTEME" -no_thumb=true -max_width=375 Ça évite de passer par l'étape 3, de télécharger les thumbs qui ne servent pas à grand chose et redimensionne les images. En tout cas tuto très clair qui devrai aider pas mal de monde. Merci NeB.

[rockaddicted]

Pour information, la création d'une base de donnée de scrape à base des sets no-intro est en cours et devrait être intégrée dans les prochaines versions de la recalbox. Donc dans un futur plus ou moins proche, dès lors que vous utiliserez des roms provenant des sets no-intro, il ne sera plus nécessaire de scraper.

[NeeeeB]

Ah bien vu pour les arguments à passer avec le scraper !! je suis complètement passé à côté. Je m'en vais de ce pas modifier le tuto, et du coup supprimer l'étape 3

[rockaddicted]

et pour les jeux arcade (MAME/FBA) tu peux utiliser ces arguments la : -mame -mame_img "m" -image_path="~/.emulationstation/downloaded_images/NOM_DU_SYSTEME" -max_width=375 -mame_img "m" -> récupère le marquee du jeu -mame_img "t" -> récupère l'écran titre du jeu -mame_img "s" -> récupère un screenshot du jeu -mame_img "c" -> récupère une photo de la borne

[NeeeeB]

Oui ceux là je les avais vu, je suis justement en train de scraper mon set MAME avec ça comme argument : -mame_img "m,t,s" (pour le image path je ferai à la main parce que j'avais lancé mon scraping avant que tu me donnes l'astuce lol).

[actarus1973]

Super tuto ! Par contre pour la Première étape : Si l’on veut scraper nos roms mame ou FBA ? On fait comment ? Il est compatible ?

[rockaddicted]

oui regarde ici

[acris]

Bonsoir j'ai un pack mame037 sur lequel j'aimerai scapper mais appremment çA ne fonctionne pas

[_romset.mame4all037.txt generated (131 games)]
1942 ; 1942
1941: Counter Attack ; 1941
1943 Kai - Midway Kaisen ; 1943kai
1943: The Battle Of Midway ; 1943
3 Wonders ; 3wonders
Aero Fighters ; aerofgt
Alien Storm ; astorm

Les roms sont au format zip. J ai fait d autres packs au format zip (Snes) et ça a fonctionné. j ai mis scraper.exe -mame_img "m" -image_path="~/.emulationstation/downloaded_images/Mame" -no_thumb=true -max_width=375 et ça ne fonctionne pas. Une idée du problème ? Edit : il manquait un argument scraper.exe -mame -mame_img "m" -image_path="~/.emulationstation/downloaded_images/Mame" -no_thumb=true -max_width=375 Avez vous d autres sites pour obtenir les images manquantes de certaines roms ? car avec ce scraper.exe ou avec celui de emultationstation sur les 3 sites disponible, il m en manque quelques unes. Qu'est ce que romset no-intro ?

[NeeeeB]

En général moi je cherche manuellement avec google les images qui me manquent. Les sets No-intro sont des sets de roms réputés pour être de très bonne qualité (pas de hack, de roms bidouillées etc...que de la rom originale sans modification).

[reivaax]

Qu’est ce que romset no-intro ?

http://lmgtfy.com/?q=no-intro.org&l=1 En tout cas merci NeB pour le tuto :D. C'est vraiment pratique ! :). Je suis d'accord avec toi, il faut faire un scrap auto puis compléter avec google image, gamefaq, wikipedia... C'est comme ça que je procède pour le projet gamelist :). Mais comparativement au scraper intégré à emulationstation, c'est le jour et la nuit. On a fait quelques test pour savoir comment optimiser la création du gamelist avec plusieurs autres utilisateurs et sshelp scrap pratiquement 10 fois plus vite, ne fait pas ou pratiquement pas de faux positifs. Bref, c'est vraiment top. On devrait arriver à faire un full gamelist bien sympa pour les prochaines versions de recalbox ! :D.

[aruka]

T'assure NeB ! c'est exactement ce que je cherchais, j'ai jamais réussi à me connecter au net avec mon rpi1 depuis ma clé Wifi pour scrapper. Avant la recalbox j'utilisais RetroPie je passais par le scrape sshelp que je trouve vraiment plus pratique et personnalisable. Ton tuto tombe à point nommé ! merci Par contre je ne vois pas le répertoire /.emulationstation/ dans /root/ même après avoir affiché les dossiers/fichiers cachés sur mon win 8 Une idée ? merci

[NeeeeB]

Oubli de ma part. Dans WinSCP : Options/préférences/Panels -> cocher "show hidden files". Ou ctrl + alt + H directement, ça va plus vite ^^ Je le rajoute au tuto, merci pour le retour !!

[aruka]

T'est le hero of the day Neb, ca fonctionne merci

[NeeeeB]

Y'a pas de quoi.

[colwyn1978]

Fantastique Tuto! Merci beaucoup!!

[rockaddicted]

Une version anglaise (qui vaut ce qu'elle vaut avec mon anglais basic...) est maintenant disponible dans le wiki de la recalbox.

[NeeeeB]

Super !!