Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [TUTO] Scraper ses ROMs depuis ... sa recalbox, en shell ! also in english

    Community projects
    scrape scraping
    37
    109
    51726
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Substring
      Substring last edited by Substring

      Yo ! For non french speaking people, scroll down a little bit, I've translated it in English Version française Bon, je sais, encore un n-ième tuto pour scraper ... Bon, celui-ci sera on ne peut plus simple, puisqu'il s'agira de créer un fichier et savoir l'exécuter. Si vous ne savez ni créer un fichier sous Linux, ni éventuellement changer les droits d'un fichier ou ni lancer un shell, autant d'abord se concentrer sur ces 3 points ... Méthode simple : tapez ces 2 commandes en shell :

      • Recalbox en version 4.0.0 et supérieur :
      wget https://raw.githubusercontent.com/substring/fullscrape/4.0.0/fullscrape.sh -O fullscrape.sh
      chmod u+x ./fullscrape.sh
      
      • Recalbox jusqu'en version 3.3.0-beta17 :
      wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh -O fullscrape.sh
      chmod u+x ./fullscrape.sh
      

      Ensuite vous pouvez lancer fullscrape.sh : ./fullscrape.sh Les options possibles :

      • -u : mode mise à jour uniquement, ne rescrappe pas ls roms déjà scrapées. Peut être utile si le scraper a planté en cours ou si vous avez déjà scrapé auparavant et ne voulez pas perdre votre travail
      • le nom des systèmes : on peut en indiquer plusieurs parmi (nes snes n64 gb gbc gba megadrive mastersystem sega32x gamegear pcengine atari2600 lynx psx scummvm segacd mame fba fba_libretro neogeo), les séparer par un espace

      Exemples :

      • ./fullscrape.sh : mode bourrin, fera tout, écrasera l'existant
      • ./fullscrape.sh -u : va mettre à jour uniqument les roms non scrapées pour tous les systèmes
      • ./fullscrape.sh nes fba : rescrappe de 0 uniquement pour nes et fba
      • ./fullscrape.sh -u n64 psx mame : met à jour uniquement les roms non scrapées de n64, psx et mame

      ATTENTION : petit problème avec fba_libretro : le scraping ne s'affiche pas. Ca sera résolu en 4.0.0

      English version It's time that I translate my tutorial in english. Scraping is something that matters for quite a number among us, recalboxers. The included scrapper is not so comfortable to use, so I've come with a different method. Log in your recalbox in SSH like explained on the wiki then type those 2 commands :

      • Recalbox version 4.0.0 and beyond :
      wget https://raw.githubusercontent.com/substring/fullscrape/4.0.0/fullscrape.sh -O fullscrape.sh
      chmod u+x ./fullscrape.sh
      
      • Recalbox up to version 3.3.0-beta17 :
      wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh -O fullscrape.sh
      chmod u+x ./fullscrape.sh
      

      Now you can run fullscrape.sh : ./fullscrape.sh Here are the possible options

      • -u : update mode only. It will just scrape roms that were not scraped yet. Quite useful if you already spent some time scraping, or if the previous scrape crashed
      • systemname : you can specify several systems seperated by space (nes snes n64 gb gbc gba megadrive mastersystem sega32x gamegear pcengine atari2600 lynx psx scummvm segacd mame fba fba_libretro neogeo)

      Examples :

      • ./fullscrape.sh : hold tight baby, will scrape everything in its way, dead or alive. You would usually run this only the frist time when you dropped all your roms and want to scrape all
      • ./fullscrape.sh -u : update mode, only scrape non scraped roms
      • ./fullscrape.sh nes fba : full rescrape of nes anf fba systems
      • ./fullscrape.sh -u n64 psx mame : only update n64 psx and mame systems

      WARNING : fba_libretro has a little bug, that will be corrected in 4.0.0 : scraping can't be displayed. This can be manually solved if you really really are desperate ...

      Former dev - Please reply with @substring so that i am notified when you answer me
      Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

      1 Reply Last reply Reply Quote 1
      • ?
        Guest last edited by

        Il te manque une condition pour éviter le scrapping des systèmes non supportés tel que prboom, nxengine, game & watch, sg1000, lutro et moonlight. (ils sont cités de tête donc il est possible qu'il y en a d'autres).

        1 Reply Last reply Reply Quote 0
        • Substring
          Substring last edited by

          oui, je sais, sauf que ca prend 3 secondes pour un système non supporté. Donc bon ... mais ok, je me le note en todo. Tu as testé ou pas ?

          Former dev - Please reply with @substring so that i am notified when you answer me
          Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

          1 Reply Last reply Reply Quote 0
          • rockaddicted
            rockaddicted last edited by

            Il faudrait ajouter un kill de ES en début de scrappe, suivi d'un restart de ES une fois le scrappe terminé. Voir également pour faire 2 modes, un qui te laisse la possibilité de scrapper un/des systèmes précis et un autre qui te lance un full scrappe de tous les sytèmes.

            Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
            Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
            Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

            Don't forget to upvote messages if it has been useful ;)

            1 Reply Last reply Reply Quote 0
            • Substring
              Substring last edited by

              ok. Vais compléter avec un mode "update only" aussi tiens

              Former dev - Please reply with @substring so that i am notified when you answer me
              Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

              1 Reply Last reply Reply Quote 0
              • Substring
                Substring last edited by acris

                Source dispo sur https://github.com/substring/fullscrape Comme ca :

                wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh
                ./fullscrape.sh [-u] [system1 system2]
                

                Former dev - Please reply with @substring so that i am notified when you answer me
                Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

                1 Reply Last reply Reply Quote 0
                • ntonyyy
                  ntonyyy last edited by

                  Super ! Merci 🙂 Donc si j'ai bien compris, admettons que j'ai déjà quelques scrapes déjà fait de snes, gb, gbc, nes et sms et que je souhaite compléter, dans ce cas :

                  wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh
                  ./fullscrape.sh -u snes gb gbc nes mastersystem
                  

                  c'est bien cela ?

                  1 Reply Last reply Reply Quote 0
                  • Substring
                    Substring last edited by

                    Oui c'est bien ca ! le nom du systeme correspond au nom du répertoire dans /recalbox/share/roms (normalement)

                    Former dev - Please reply with @substring so that i am notified when you answer me
                    Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

                    1 Reply Last reply Reply Quote 0
                    • ntonyyy
                      ntonyyy last edited by

                      Je sais pas ce que je fais de mal mais çà donne ça chez moi :

                      wget: invalid options -- 'u'

                      en mettant :

                      wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh./fullscrape.sh -u snes gb gbc nes mastersystem

                      1 Reply Last reply Reply Quote 0
                      • rockaddicted
                        rockaddicted last edited by

                        plop, wget est un commande pour télécharger, et non lancer le script donc tu dois télécharger le script dans un premier temps : wget https://raw.githubusercontent.com/substring/fullscrape/master/fullscrape.sh Puis une fois le téléchargement réalisé, démarrer le script avec les options de ton choix. ./fullscrape.sh -u snes gb gbc nes mastersystem

                        Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                        Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                        Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                        Don't forget to upvote messages if it has been useful ;)

                        1 Reply Last reply Reply Quote 0
                        • Substring
                          Substring last edited by

                          Comme a dit toadaddicted

                          Former dev - Please reply with @substring so that i am notified when you answer me
                          Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

                          1 Reply Last reply Reply Quote 0
                          • ntonyyy
                            ntonyyy last edited by

                            Haha ^^' Merci, je voulais essayer -ni connaissant rien- de me débrouiller seul pour la suite (c'est en forgeant qu'on devient forgeron comme on dit :p) mais je me suis vautré lamentablement 😛 Bon, effectivement, y'a du mieux à présent mais je bloque encore sur l'étape suivante lorsque je veux démarrer le script, j'obtiens ceci :

                            -sh: ./fullscrape.sh: Permission denied

                            😞

                            1 Reply Last reply Reply Quote 0
                            • Substring
                              Substring last edited by acris

                              remplace la 2e commande par bash ./fullscrape.sh -u snes gb gbc nes mastersystem j'en profite pour mettre à jour le premier post

                              Former dev - Please reply with @substring so that i am notified when you answer me
                              Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

                              1 Reply Last reply Reply Quote 0
                              • ntonyyy
                                ntonyyy last edited by

                                Merci, impeccable, çà y est c'est enfin passé nickel, me reste quelques covers à faire manuellement (noms japs, fautes dans les mots, trad de roms surement, etc :)... ) J'en ai profité pour éditer mes propres OGG pour les thèmes des menus dans la foulée ^^ Encore merci pour le coup de main en tout cas 😉

                                1 Reply Last reply Reply Quote 0
                                • rockaddicted
                                  rockaddicted last edited by

                                  Cool bonne nouvelle, concernant ton thème personnalisé, si ce n'est pas déjà fait, je te conseille de copier le répertoire de ton thème custom, de le renommer, puis de switcher dessus via les options interface de ES.. Sinon ton thème se trouvera écrasé lors de la prochaine mise à jour de recalbox.

                                  Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                                  Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                                  Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                                  Don't forget to upvote messages if it has been useful ;)

                                  1 Reply Last reply Reply Quote 0
                                  • kjbstar
                                    kjbstar last edited by

                                    Question con : avec cette méthode qui me plaît bien (mieux que l'exe sous pc), ca scanne les sous-dossiers ? Car mes roms sont rangées dans des dossiers alphabétiques (plus pratique à naviguer sur les fullsets), et jusqu'à présent j'ai vu aucune méthode "externe" qui permette d'écrire les gamelist correctement (ou j'ai loupé un épisode)...

                                    Recalbox 4.0.2 sur Raspberry Pi 2
                                    Recalboy sur Raspberry Pi Zero

                                    1 Reply Last reply Reply Quote 0
                                    • Substring
                                      Substring last edited by

                                      salut Je viens de faire un test et oui, j'ai bien le nom du répertoire qui s'est ajouté dans le chemin de la rom. J'ai bien vu le scrape s'ajouter. Pas pu tester le lancement parce que je suis en cours de développement sur le lanceur d'émulateur. MAis ca devrait marcher Si tu es frileux, fais une copie de sauvegarde du répertoire ~/.emuationstation/gamelists et lance le script

                                      Former dev - Please reply with @substring so that i am notified when you answer me
                                      Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

                                      1 Reply Last reply Reply Quote 0
                                      • kjbstar
                                        kjbstar last edited by

                                        Top moumoute ! \o/ Merci pour le test. J'ai bien fait de prendre mon clavier, je tenterais le coup dans la semaine 🙂

                                        Recalbox 4.0.2 sur Raspberry Pi 2
                                        Recalboy sur Raspberry Pi Zero

                                        1 Reply Last reply Reply Quote 0
                                        • Substring
                                          Substring last edited by

                                          tu peux faire ca par réseau 😉 SSH ! https://github.com/recalbox/recalbox-os/wiki/Root-access-on-terminal-(EN)

                                          Former dev - Please reply with @substring so that i am notified when you answer me
                                          Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

                                          1 Reply Last reply Reply Quote 0
                                          • kjbstar
                                            kjbstar last edited by

                                            C'est vrai j'avais oublié. Mais comme suis pas chez moi mon portable reste pas allumé tout le temps, du coup je le fais tourner en direct depuis 12h30. Je pense il va en avoir pour un moment encore, y'a 10min il était encore sur la GBA. Pas grave j'ai le temps, suis en vacances :')

                                            Recalbox 4.0.2 sur Raspberry Pi 2
                                            Recalboy sur Raspberry Pi Zero

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            77
                                            Online

                                            90.8k
                                            Users

                                            26.5k
                                            Topics

                                            182.3k
                                            Posts

                                            Copyright © 2021 recalbox.com