[TUTO] Scraper ses ROMs depuis ... sa recalbox, en shell ! also in english

[Substring]

Yo ! For non french speaking people, scroll down a little bit, I've translated it in English Version française Bon, je sais, encore un n-ième tuto pour scraper ... Bon, celui-ci sera on ne peut plus simple, puisqu'il s'agira de créer un fichier et savoir l'exécuter. Si vous ne savez ni créer un fichier sous Linux, ni éventuellement changer les droits d'un fichier ou ni lancer un shell, autant d'abord se concentrer sur ces 3 points ... Méthode simple : tapez ces 2 commandes en shell :

• Recalbox en version 4.0.0 et supérieur :

wget https://raw.githubusercontent.com/substring/fullscrape/4.0.0/fullscrape.sh -O fullscrape.sh
chmod u+x ./fullscrape.sh

• Recalbox jusqu'en version 3.3.0-beta17 :

wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh -O fullscrape.sh
chmod u+x ./fullscrape.sh

Ensuite vous pouvez lancer fullscrape.sh : ./fullscrape.sh Les options possibles :

• -u : mode mise à jour uniquement, ne rescrappe pas ls roms déjà scrapées. Peut être utile si le scraper a planté en cours ou si vous avez déjà scrapé auparavant et ne voulez pas perdre votre travail
• le nom des systèmes : on peut en indiquer plusieurs parmi (nes snes n64 gb gbc gba megadrive mastersystem sega32x gamegear pcengine atari2600 lynx psx scummvm segacd mame fba fba_libretro neogeo), les séparer par un espace

Exemples :

• ./fullscrape.sh : mode bourrin, fera tout, écrasera l'existant
• ./fullscrape.sh -u : va mettre à jour uniqument les roms non scrapées pour tous les systèmes
• ./fullscrape.sh nes fba : rescrappe de 0 uniquement pour nes et fba
• ./fullscrape.sh -u n64 psx mame : met à jour uniquement les roms non scrapées de n64, psx et mame

ATTENTION : petit problème avec fba_libretro : le scraping ne s'affiche pas. Ca sera résolu en 4.0.0

English version It's time that I translate my tutorial in english. Scraping is something that matters for quite a number among us, recalboxers. The included scrapper is not so comfortable to use, so I've come with a different method. Log in your recalbox in SSH like explained on the wiki then type those 2 commands :

• Recalbox version 4.0.0 and beyond :

wget https://raw.githubusercontent.com/substring/fullscrape/4.0.0/fullscrape.sh -O fullscrape.sh
chmod u+x ./fullscrape.sh

• Recalbox up to version 3.3.0-beta17 :

wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh -O fullscrape.sh
chmod u+x ./fullscrape.sh

Now you can run fullscrape.sh : ./fullscrape.sh Here are the possible options

• -u : update mode only. It will just scrape roms that were not scraped yet. Quite useful if you already spent some time scraping, or if the previous scrape crashed
• systemname : you can specify several systems seperated by space (nes snes n64 gb gbc gba megadrive mastersystem sega32x gamegear pcengine atari2600 lynx psx scummvm segacd mame fba fba_libretro neogeo)

Examples :

• ./fullscrape.sh : hold tight baby, will scrape everything in its way, dead or alive. You would usually run this only the frist time when you dropped all your roms and want to scrape all
• ./fullscrape.sh -u : update mode, only scrape non scraped roms
• ./fullscrape.sh nes fba : full rescrape of nes anf fba systems
• ./fullscrape.sh -u n64 psx mame : only update n64 psx and mame systems

WARNING : fba_libretro has a little bug, that will be corrected in 4.0.0 : scraping can't be displayed. This can be manually solved if you really really are desperate ...

[Guest]

Il te manque une condition pour éviter le scrapping des systèmes non supportés tel que prboom, nxengine, game & watch, sg1000, lutro et moonlight. (ils sont cités de tête donc il est possible qu'il y en a d'autres).

[Substring]

oui, je sais, sauf que ca prend 3 secondes pour un système non supporté. Donc bon ... mais ok, je me le note en todo. Tu as testé ou pas ?

[rockaddicted]

Il faudrait ajouter un kill de ES en début de scrappe, suivi d'un restart de ES une fois le scrappe terminé. Voir également pour faire 2 modes, un qui te laisse la possibilité de scrapper un/des systèmes précis et un autre qui te lance un full scrappe de tous les sytèmes.

[Substring]

ok. Vais compléter avec un mode "update only" aussi tiens

[Substring]

Source dispo sur https://github.com/substring/fullscrape Comme ca :

wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh
./fullscrape.sh [-u] [system1 system2]

[ntonyyy]

Super ! Merci Donc si j'ai bien compris, admettons que j'ai déjà quelques scrapes déjà fait de snes, gb, gbc, nes et sms et que je souhaite compléter, dans ce cas :

wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh
./fullscrape.sh -u snes gb gbc nes mastersystem

c'est bien cela ?

[Substring]

Oui c'est bien ca ! le nom du systeme correspond au nom du répertoire dans /recalbox/share/roms (normalement)

[ntonyyy]

Je sais pas ce que je fais de mal mais çà donne ça chez moi :

wget: invalid options -- 'u'

en mettant :

wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh./fullscrape.sh -u snes gb gbc nes mastersystem

[rockaddicted]

plop, wget est un commande pour télécharger, et non lancer le script donc tu dois télécharger le script dans un premier temps : wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh Puis une fois le téléchargement réalisé, démarrer le script avec les options de ton choix. ./fullscrape.sh -u snes gb gbc nes mastersystem

[Substring]

Comme a dit toadaddicted

[ntonyyy]

Haha ^^' Merci, je voulais essayer -ni connaissant rien- de me débrouiller seul pour la suite (c'est en forgeant qu'on devient forgeron comme on dit :p) mais je me suis vautré lamentablement Bon, effectivement, y'a du mieux à présent mais je bloque encore sur l'étape suivante lorsque je veux démarrer le script, j'obtiens ceci :

-sh: ./fullscrape.sh: Permission denied

[Substring]

remplace la 2e commande par bash ./fullscrape.sh -u snes gb gbc nes mastersystem j'en profite pour mettre à jour le premier post

[ntonyyy]

Merci, impeccable, çà y est c'est enfin passé nickel, me reste quelques covers à faire manuellement (noms japs, fautes dans les mots, trad de roms surement, etc :)... ) J'en ai profité pour éditer mes propres OGG pour les thèmes des menus dans la foulée ^^ Encore merci pour le coup de main en tout cas

[rockaddicted]

Cool bonne nouvelle, concernant ton thème personnalisé, si ce n'est pas déjà fait, je te conseille de copier le répertoire de ton thème custom, de le renommer, puis de switcher dessus via les options interface de ES.. Sinon ton thème se trouvera écrasé lors de la prochaine mise à jour de recalbox.

[kjbstar]

Question con : avec cette méthode qui me plaît bien (mieux que l'exe sous pc), ca scanne les sous-dossiers ? Car mes roms sont rangées dans des dossiers alphabétiques (plus pratique à naviguer sur les fullsets), et jusqu'à présent j'ai vu aucune méthode "externe" qui permette d'écrire les gamelist correctement (ou j'ai loupé un épisode)...

[Substring]

salut Je viens de faire un test et oui, j'ai bien le nom du répertoire qui s'est ajouté dans le chemin de la rom. J'ai bien vu le scrape s'ajouter. Pas pu tester le lancement parce que je suis en cours de développement sur le lanceur d'émulateur. MAis ca devrait marcher Si tu es frileux, fais une copie de sauvegarde du répertoire ~/.emuationstation/gamelists et lance le script

[kjbstar]

Top moumoute ! \o/ Merci pour le test. J'ai bien fait de prendre mon clavier, je tenterais le coup dans la semaine

[Substring]

tu peux faire ca par réseau SSH ! https://github.com/recalbox/recalbox-os/wiki/Root-access-on-terminal-(EN)

[kjbstar]

C'est vrai j'avais oublié. Mais comme suis pas chez moi mon portable reste pas allumé tout le temps, du coup je le fais tourner en direct depuis 12h30. Je pense il va en avoir pour un moment encore, y'a 10min il était encore sur la GBA. Pas grave j'ai le temps, suis en vacances :')