Navigation

    Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [Obsolète][TUTO] Scraper ses jeux depuis son PC plus efficacement.

    Recalbox Général
    [tuto] scraper ses son efficacement
    42
    155
    74921
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • NeeeeB
      NeeeeB
      Tester
      last edited by acris

      Bonjour à tous !! Si vous êtes comme moi et que vous aimez avoir les choses le plus carrées possibles, alors mon petit tuto risque de vous intéresser. On va traiter du scraping, ou de comment récupérer les jaquettes et descriptions des jeux de notre chère Recalbox. Comme vous le savez, il y a un scraper intégré à EmulationStation, mais celui est moyennement efficace, et surtout lent comme une vieille lol. Donc, je vais vous montrer comment scraper rapidement et efficacement vos roms, à l'aide du génial scraper de sselph. L'avantage, c'est que c'est bien plus rapide, plus précis, et que c'est faisable directement depuis un PC, qu'il soit sous windows ou linux, peu importe !!! (ça marche aussi sous Mac d'ailleurs, mais comme Apple et moi on est pas copain du tout, bah je laisserai les apple addict se démer*** lol) Les prérequis : - Un PC. - le binaire précompilé du scraper pour votre OS : https://github.com/sselph/scraper/releases - WinSCP : http://winscp.net/eng/download.php#download2 Je vais expliquer comment tout ça fonctionne sous Windows, parce que c'est ce que j'utilise, que c'est ce qu'il y a de plus courant, et que selon moi, les utilisateurs Linux sont normalement assez compétents pour pouvoir adapter mon tuto à leur OS. Pour les Mac users, débrouillez vous, fallait pas entrer dans la secte de Mr Jobs lol. - Première étape : Disons que vous voulez scraper vos roms Snes. Créez un répertoire Snes sur votre PC. Placez dedans toutes vos roms Snes, au format .smc de préférence. Placez y également le scraper.exe que vous avez récupéré dans les prérequis. Vous êtes maintenant prêts à scraper vos roms Snes. - Deuxième étape : Faites Shift+click droit dans le répertoire, et choisissez "ouvrir une fenêtre de commandes ici". tapez : scraper.exe -image_path="~/.emulationstation/downloaded_images/NOM_DU_SYSTEME" -no_thumb=true -max_width=375 et appuyez sur entrée. (remplacez NOM_DU_SYSTEME par ce que vous allez scraper, par exemple nes, snes, mastersystem etc etc...) Laissez faire. PS: pour les roms MAME ou FBA utilisez cette commande (attention de mettre mame ou fba selon le dossier que vous voulez utiliser): scraper.exe -mame -mame_img "m,t,s" -image_path="~/.emulationstation/downloaded_images/mame_ou_fba" -no_thumb=true -max_width=375 - Troisième étape : On va maintenant utiliser WinSCP pour transférer le dossier d'images et le fichier gamelist.xml sur le Pi. Assurez vous que votre pi est allumé, et relié à internet (par câble éthernet ou par wifi peu importe). Lancez WinSCP, et dans la fenêtre qui apparait, remplissez comme suit : File protocol : SCP Host name : adresse IP de votre Pi (à votre charge de la récupérer, depuis l'interface de gestion de votre box par exemple). Port number : 22 User name : root password : recalboxroot Cliquez enfin sur Login, et vous accédez à l'interface de WinSCP. Sur la gauche, c'est l'arborescence de votre PC. Sur la droite, c'est l'arborescence de votre Pi. Commencez par faire Ctrl + Alt + H pour afficher les dossiers cachés. Sur la gauche, rendez vous dans le dossier que vous venez de scraper, pour y retrouver le dossier d'images et le fichier gamelist.xml. Sur la droite, commencez par vous rendre dans /root/.emulationstation/downloaded_images/ Quand vous y êtes, sur la gauche, faites un click droit sur votre dossier d'images, et choisissez "upload" Une fois l'upload du dossier finie, faites un click droit dessus (partie droite) et choisissez propriétés, et réglez les droits sur RW-R--R-- (ou 0644 pour aller plus vite). Ensuite, toujours sur la droite, rendez vous dans /root/.emulationstation/gamelists/nom_du_système/ Quand vous y êtes, sur la gauche, faites un click droit sur votre fichier gamelist.xml, et choisissez "upload" Acceptez de remplacer le fichier déjà existant par le votre. Quand c'est fini, faites un click droit sur le fichier gamelist.xml (partie droite) et choisissez propriétés, et réglez les droits sur RW-R--R-- (ou 0644 pour aller plus vite). Vous pouvez maintenant fermer WinSCP et rebooter votre Pi. Une fois le reboot terminé, vous devriez maintenant avoir toutes les images et descriptions de vos jeux !!! Il ne vous reste plus qu'à renouveler l'opération pour le set de roms suivant. PS: ça parait fastidieux, mais lorsqu'on l'a fait une fois, c'est beaucoup plus rapide les fois d'après. PS2 : n'hésitez pas si vous avez des questions, j'essayerai d'y répondre du mieux possible.

      Vieux geek ^^
      GameList Editor : https://github.com/NeeeeB/GameList_Editor

      1 Reply Last reply Reply Quote 0
      • acris
        acris last edited by

        Bonjour NeB merci pour ce tutoriel Depuis le temps que je cherchais comment scraper à partir de mon pc. Mais avant avec tous ce que j ai fait il faut surtout que je supprime mes doublons.

        1 Reply Last reply Reply Quote 0
        • NeeeeB
          NeeeeB
          Tester
          last edited by

          Hello. Ravi de pouvoir aider un peu la communauté. Effectivement avant de commencer le scraping il est préférable de faire le tri dans les roms pour avoir quelque chose le plus propre possible. Moi ce que j'ai fait pour nes, snes, mastersystem, megadrive et n64, j'ai cherché les romsets no-intro. En tapant "sets no-intro e**para****" dans google c'est le premier lien, celui qui mène au forum du paradis de l'émulation en anglais lol. Je me suis donc procuré les romsets, et ensuite j'ai méthodiquement supprimé les version US et JAP des roms, de manière à ne garder que les versions europe. Sous windows j'ai tout simplement tapé "japan" ou "USA" dans la case recherche dans mon dossier de roms, et j'ai supprimé tout ce qui était retourné par la recherche. Ca fait déjà un bon dégraissage. Et si j'ai envie d'un jeu qui serait sorti uniquement au japon par exemple, je l'ajouterai à la main, et le scraperai depuis emulationstation. Là honnêtement je pense avoir quelque chose de carré pour mes roms, images comprises.

          Vieux geek ^^
          GameList Editor : https://github.com/NeeeeB/GameList_Editor

          1 Reply Last reply Reply Quote 0
          • rockaddicted
            rockaddicted last edited by

            Merci pour ce tuto, en effet j'utilise ce scraper depuis quelques semaines et c'est vrai que le fait qu'il se base sur un comparaison des hash est nettement plus efficace que le scraper intégré à base de comparaison avec les noms de roms. Perso je l'utilise avec ces options la -image_path="~/.emulationstation/downloaded_images/NOM_DU_SYSTEME" -no_thumb=true -max_width=375 Ça évite de passer par l'étape 3, de télécharger les thumbs qui ne servent pas à grand chose et redimensionne les images. En tout cas tuto très clair qui devrai aider pas mal de monde. Merci NeB.

            Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
            Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
            Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

            Don't forget to upvote messages if it has been useful ;)

            1 Reply Last reply Reply Quote 0
            • rockaddicted
              rockaddicted last edited by

              Pour information, la création d'une base de donnée de scrape à base des sets no-intro est en cours et devrait être intégrée dans les prochaines versions de la recalbox. Donc dans un futur plus ou moins proche, dès lors que vous utiliserez des roms provenant des sets no-intro, il ne sera plus nécessaire de scraper.

              Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
              Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
              Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

              Don't forget to upvote messages if it has been useful ;)

              1 Reply Last reply Reply Quote 0
              • NeeeeB
                NeeeeB
                Tester
                last edited by

                Ah bien vu pour les arguments à passer avec le scraper !! je suis complètement passé à côté. Je m'en vais de ce pas modifier le tuto, et du coup supprimer l'étape 3 😉

                Vieux geek ^^
                GameList Editor : https://github.com/NeeeeB/GameList_Editor

                1 Reply Last reply Reply Quote 0
                • rockaddicted
                  rockaddicted last edited by

                  et pour les jeux arcade (MAME/FBA) tu peux utiliser ces arguments la : -mame -mame_img "m" -image_path="~/.emulationstation/downloaded_images/NOM_DU_SYSTEME" -max_width=375 -mame_img "m" -> récupère le marquee du jeu -mame_img "t" -> récupère l'écran titre du jeu -mame_img "s" -> récupère un screenshot du jeu -mame_img "c" -> récupère une photo de la borne

                  Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                  Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                  Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                  Don't forget to upvote messages if it has been useful ;)

                  1 Reply Last reply Reply Quote 0
                  • NeeeeB
                    NeeeeB
                    Tester
                    last edited by

                    Oui ceux là je les avais vu, je suis justement en train de scraper mon set MAME avec ça comme argument : -mame_img "m,t,s" (pour le image path je ferai à la main parce que j'avais lancé mon scraping avant que tu me donnes l'astuce lol).

                    Vieux geek ^^
                    GameList Editor : https://github.com/NeeeeB/GameList_Editor

                    1 Reply Last reply Reply Quote 0
                    • actarus1973
                      actarus1973 last edited by

                      Super tuto ! Par contre pour la Première étape : Si l’on veut scraper nos roms mame ou FBA ? On fait comment ? Il est compatible ?

                      1 Reply Last reply Reply Quote 0
                      • rockaddicted
                        rockaddicted last edited by

                        oui regarde ici

                        Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                        Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                        Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                        Don't forget to upvote messages if it has been useful ;)

                        1 Reply Last reply Reply Quote 0
                        • acris
                          acris last edited by

                          Bonsoir j'ai un pack mame037 sur lequel j'aimerai scapper mais appremment çA ne fonctionne pas

                          [_romset.mame4all037.txt generated (131 games)]
                          1942 ; 1942
                          1941: Counter Attack ; 1941
                          1943 Kai - Midway Kaisen ; 1943kai
                          1943: The Battle Of Midway ; 1943
                          3 Wonders ; 3wonders
                          Aero Fighters ; aerofgt
                          Alien Storm ; astorm
                          

                          Les roms sont au format zip. J ai fait d autres packs au format zip (Snes) et ça a fonctionné. j ai mis scraper.exe -mame_img "m" -image_path="~/.emulationstation/downloaded_images/Mame" -no_thumb=true -max_width=375 et ça ne fonctionne pas. Une idée du problème ? Edit : il manquait un argument scraper.exe -mame -mame_img "m" -image_path="~/.emulationstation/downloaded_images/Mame" -no_thumb=true -max_width=375 Avez vous d autres sites pour obtenir les images manquantes de certaines roms ? car avec ce scraper.exe ou avec celui de emultationstation sur les 3 sites disponible, il m en manque quelques unes. Qu'est ce que romset no-intro ?

                          1 Reply Last reply Reply Quote 0
                          • NeeeeB
                            NeeeeB
                            Tester
                            last edited by

                            En général moi je cherche manuellement avec google les images qui me manquent. Les sets No-intro sont des sets de roms réputés pour être de très bonne qualité (pas de hack, de roms bidouillées etc...que de la rom originale sans modification).

                            Vieux geek ^^
                            GameList Editor : https://github.com/NeeeeB/GameList_Editor

                            1 Reply Last reply Reply Quote 0
                            • reivaax
                              reivaax last edited by

                              Qu’est ce que romset no-intro ?

                              http://lmgtfy.com/?q=no-intro.org&l=1 😉 En tout cas merci NeB pour le tuto :D. C'est vraiment pratique ! :). Je suis d'accord avec toi, il faut faire un scrap auto puis compléter avec google image, gamefaq, wikipedia... C'est comme ça que je procède pour le projet gamelist :). Mais comparativement au scraper intégré à emulationstation, c'est le jour et la nuit. On a fait quelques test pour savoir comment optimiser la création du gamelist avec plusieurs autres utilisateurs et sshelp scrap pratiquement 10 fois plus vite, ne fait pas ou pratiquement pas de faux positifs. Bref, c'est vraiment top. On devrait arriver à faire un full gamelist bien sympa pour les prochaines versions de recalbox ! :D.

                              1 Reply Last reply Reply Quote 0
                              • aruka
                                aruka last edited by

                                T'assure NeB ! c'est exactement ce que je cherchais, j'ai jamais réussi à me connecter au net avec mon rpi1 depuis ma clé Wifi pour scrapper. Avant la recalbox j'utilisais RetroPie je passais par le scrape sshelp que je trouve vraiment plus pratique et personnalisable. Ton tuto tombe à point nommé ! merci 😉 Par contre je ne vois pas le répertoire /.emulationstation/ dans /root/ même après avoir affiché les dossiers/fichiers cachés sur mon win 8 Une idée ? merci 🙂

                                RPi1 Not overclocked recalboxOS v3.2.9

                                1 Reply Last reply Reply Quote 0
                                • NeeeeB
                                  NeeeeB
                                  Tester
                                  last edited by

                                  Oubli de ma part. Dans WinSCP : Options/préférences/Panels -> cocher "show hidden files". Ou ctrl + alt + H directement, ça va plus vite ^^ Je le rajoute au tuto, merci pour le retour !!

                                  Vieux geek ^^
                                  GameList Editor : https://github.com/NeeeeB/GameList_Editor

                                  1 Reply Last reply Reply Quote 0
                                  • aruka
                                    aruka last edited by

                                    T'est le hero of the day Neb, ca fonctionne merci 😉

                                    RPi1 Not overclocked recalboxOS v3.2.9

                                    1 Reply Last reply Reply Quote 0
                                    • NeeeeB
                                      NeeeeB
                                      Tester
                                      last edited by

                                      Y'a pas de quoi.

                                      Vieux geek ^^
                                      GameList Editor : https://github.com/NeeeeB/GameList_Editor

                                      1 Reply Last reply Reply Quote 0
                                      • colwyn1978
                                        colwyn1978 last edited by

                                        Fantastique Tuto! Merci beaucoup!!

                                        1 Reply Last reply Reply Quote 0
                                        • rockaddicted
                                          rockaddicted last edited by

                                          Une version anglaise (qui vaut ce qu'elle vaut avec mon anglais basic...) est maintenant disponible dans le wiki de la recalbox.

                                          Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                                          Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                                          Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                                          Don't forget to upvote messages if it has been useful ;)

                                          1 Reply Last reply Reply Quote 0
                                          • NeeeeB
                                            NeeeeB
                                            Tester
                                            last edited by

                                            Super !!

                                            Vieux geek ^^
                                            GameList Editor : https://github.com/NeeeeB/GameList_Editor

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            92
                                            Online

                                            87.8k
                                            Users

                                            25.8k
                                            Topics

                                            178.7k
                                            Posts

                                            Copyright © 2021 recalbox.com