Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [Obsolète][TUTO] Scraper ses jeux depuis son PC plus efficacement.

    Recalbox Général
    [tuto] scraper ses son efficacement
    42
    155
    96251
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • messij
      messij last edited by

      Oui mon bureau est bien sur 😧 je change toujours sa pour pouvoir poser de gros fichier dessus sans remplir mon SSD système. J'ai essayé à d'autre endroit pour en avoir le cœur net et rien ne marche. J'ai l'impression qu'il y a un problème avec thegamedb.net qui n'est pas accessible en ce moment.

      1 Reply Last reply Reply Quote 0
      • acris
        acris last edited by

        Salut Ton architecture PC est vraiement étrange et illogique pourquoi avoir mis le bureau windows dans un dossier divers ? Enfin bref, je suis entrain de vérifier si le site thegamedb est hors service en lançant mon batch pour gbc par exemple. As tu bien copié le dossier roms contenant les dossiers sur ton pc ? /share/roms/ tu as bien mis le batch et scrap.exe dans le dossier roms contenant tous les dossiers de emultateurs ? edit : oui il y a le serveur qui est hors service pour le moment. Quel message d erreur tu obtiens lorsque tu lances le batch ormi le fait de dire ça marche pas ?

        1 Reply Last reply Reply Quote 0
        • jakpot56
          jakpot56 last edited by

          Bonjour, le souci viendrais surement du fait que TheGamesDB est down depuis quelques jours. Yaurai t'il une alternative a scraper via une autre DB?

          1 Reply Last reply Reply Quote 0
          • NeeeeB
            NeeeeB last edited by

            Thegamedb.net est down pour le moment, et libretro.com aussi d'ailleurs... @Acris: je t'ai laissé un petit message sur IRC si tu passes par là 😉 Merci.

            Vieux geek ^^
            GameList Editor : https://github.com/NeeeeB/GameList_Editor

            1 Reply Last reply Reply Quote 0
            • acris
              acris last edited by

              NeB, vu pour irc, c est en cours. Non on ne peut pas scraper via un autre site pour le moment l executable etant attaché à ce site de référence et mamedb aussi.

              1 Reply Last reply Reply Quote 0
              • messij
                messij last edited by

                Bon ba on va attendre que les site pour le scraping soient revenue et je te tiendrais au courant de mes message d’erreur.

                1 Reply Last reply Reply Quote 0
                • acris
                  acris last edited by

                  le site est de nouveau online, et j'ai scappé mes gb ce matin sans problème.

                  1 Reply Last reply Reply Quote 0
                  • messij
                    messij last edited by

                    Voici un Screenshots de mon dossier et de ce que j'obtient.

                    1 Reply Last reply Reply Quote 0
                    • acris
                      acris last edited by

                      D apres ce que je comprends tu n'as pas mis les dossiers roms dans le même dossier tu dois avoir tout le dossier roms situé dans recalbox/share/ dans ton pc dans le dossier rom, tu dois ajouter le fichier batch et scraper.exe voici l architecture de mes dossiers avec le batch et l executable

                      D:\
                      |  
                      +---roms
                      | 
                      |  
                      +--------------amiga
                      |           
                      +--------------atari2600
                      |       
                      +--------------fba
                      |       
                      +--------------fba_libretro
                      |       
                      +--------------fds
                      |       _lisezmoi.txt
                      |       _readme.txt
                      |       
                      +--------------gamegear
                      |       _lisezmoi.txt
                      |       _readme.txt
                      |       
                      +--------------gb
                      |       _lisezmoi.txt
                      |       _readme.txt
                      |       
                      +--------------gba
                      |       
                      |       _lisezmoi.txt
                      |       _readme.txt
                      |       
                      +--------------gbc
                      |       _lisezmoi.txt
                      |       _readme.txt
                      |       
                      +--------------mame
                      |       
                      |       _romset.log.txt
                      |       
                      +--------------mastersystem
                      | 
                      |   
                      +--------------megadrive
                      |      
                      +--------------msx
                      |       _lisezmoi.txt
                      |       _readme.txt
                      |       
                      +--------------n64
                      |       _lisezmoi.txt
                      |       _readme.txt
                      |       
                      +--------------nes
                      |
                      +--------------pcengine
                      |      
                      |       
                      +--------------psx
                      |   
                      +--------------scummvm
                      |  
                      |   
                      +--------------sega32x
                      |    
                      +--------------segacd
                      |       
                      +--------------sg1000
                      |       
                      +--------------snes
                      |       
                      |     
                      |       
                      |---virtualboy
                      |       
                      |     
                      |
                      +--------------scap.bat
                      |
                      \------scaper.exe
                      
                      1 Reply Last reply Reply Quote 0
                      • acris
                        acris last edited by

                        @Neb on peut scaper directement dans emultationstation pour le psx si jamais en attendant de mieux

                        1 Reply Last reply Reply Quote 0
                        • NeeeeB
                          NeeeeB last edited by

                          Merci. J'avais vu ça mais le scraper de ES il m'énerve au plus haut point ^^ soit ça trouve pas, soit ça fait n'importe quoi... Enfin en attendant c'est toujours mieux que rien lol.

                          Vieux geek ^^
                          GameList Editor : https://github.com/NeeeeB/GameList_Editor

                          1 Reply Last reply Reply Quote 0
                          • acris
                            acris last edited by

                            Oui mieux que rien. pour recuperer des images il ya aussi le logiciel emumovie. Il scanne le dossier de roms et tu peux dl boxart et autre. Juste dsommage qu il ne cree pas le xml. Maid je suis sur que lon pourrait faire un batch pr le faire.

                            1 Reply Last reply Reply Quote 0
                            • rockaddicted
                              rockaddicted last edited by

                              Normalement dans la 3.3.0 il y aura l'intégration de scrapers en ligne de commande dans la recalbox. Ça devrait solutionner le problème.

                              Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                              Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                              Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                              Don't forget to upvote messages if it has been useful ;)

                              1 Reply Last reply Reply Quote 0
                              • messij
                                messij last edited by

                                Salut j'ai enfin réussi à faire marcher le .bat Je n'avais pas capté qu'il fallait le mettre le .bat et le scraper.exe à la racine de roms et non dans les dossiers snes nes megadrive ... Bref du coup ça marche. Mais il y a 2 choses qui ne se comportent pas comme je le voudrait. Les images des roms dans les sous-dossier All ne se place pas dans le dossier All et du coup le chemin de l'image dans gamelist n'est pas snes/all/mario-image.png mais reste snes/mario-image.png. Pour réalisé cela je pense qu'il faudrait utiliser une fonction if du style: FOR %%i in (nes snes n64 gb gbc gba mastersystem megadrive sega32x segacd fds gg pcengine atari2600 msx sg1000) do ( if "%%i"=="snes"  scraper.exe -image_dir="%img_dir%%%i" -rom_dir=%%i -image_path=. -output_file=%gamelist%%%i\gamelist.xml -no_thumb=true -max_width=375 if "%%i"=="snes/all" scraper.exe -image_dir="%img_dir%%%i\all" -rom_dir=%%i -image_path=.\all -output_file=%gamelist%%%i\gamelist.xml -no_thumb=true -max_width=375 ) Il faudrait ensuite faire 2 if par console et dossier. Mais cela ne marche pas la fenêtre de commande se lance et se ferme instantanément. Que pensez vous de mon idée ? Y a-t-il un moyen plus simple et qui marche de faire ce que je souhaite. Sinon il faut peut être aller dans le scraper.exe si on peut car pour le rom_path il rajout bien le /all quand c'est nécessaire.

                                1 Reply Last reply Reply Quote 0
                                • acris
                                  acris last edited by

                                  Bonjour je regarde ce soir en détail L'HISTOIRE du If mais je ne comprend pas pourquoi il y aurait besoin....puisque la boucle le fait tout seul et dans ton exemple tu as remplacé en plus les chemins. mais d apres ton précédent post avec le batch que tu as modifié les chemins ne sont pas tous renseigné

                                  set img_dir=D:\Divers\Bureau\Test scraping\images
                                  set chemin_img=.
                                  set gamelist=D:\Divers\Bureau\Test scraping\gamelists
                                  

                                  il faut vraiement que tu me détailles les chemins oû tu stockeras les images sur la recalbox par ce que là je comprend que tu veux mettre les images dans le dossier /recalbox/share/roms/snes/all et non dans le dossier /root/.emulationstation comme ça devrait être. Ainsi que ta structure sur ton pc moi j'ai

                                  D:\recalbox\share\roms
                                  D:\recalbox\emulstationstation\downloaded_images
                                  D:\recalbox\emulstationstation\gamelists
                                  
                                  1 Reply Last reply Reply Quote 0
                                  • acris
                                    acris last edited by

                                    Bonsoir reprenant j'ai relu ton message en page ton architecture de dossier est ainsi (je te conseille de ne pas mettre d espace dans les noms de dossiers ça peut bugguer:

                                    D:\Divers\bureau\Testscraping\roms\n64\all
                                    D:\Divers\bureau\Testscraping\roms\nes\all\
                                    D:\Divers\bureau\Testscraping\roms\snes\all\
                                    

                                    et tu veux stocker les images dans le même dossier que chaque emulateur

                                    D:\Divers\bureau\Testscraping\roms\n64\all\images
                                    D:\Divers\bureau\Testscraping\roms\nes\all\images
                                    D:\Divers\bureau\Testscraping\roms\snes\all\images
                                    

                                    Si tu veux stocker les images directement avec les roms tu retires \images Voici les chemins à renseigner

                                    REM VARIABLES à modifier
                                    set img_dir=D:\Divers\bureau\Testscarping\roms\%%i\all\images
                                    set chemin_img=~./all/images
                                    set gamelist=D:\Divers\bureau\Testscarping\gamelists
                                    

                                    Voila l'architecture que j ai crée pour faire un exemple : gamegear

                                    D:\divers\
                                    |   
                                    \---Bureau
                                        \---Testscraping
                                            +---gamelists
                                            |   \---gamegear
                                            |           gamelist.xml
                                            |           
                                            \---roms
                                                |   scraper.exe
                                                |   test4.bat
                                                |   
                                                \---gamegear
                                                    |   5 in 1 Funpak (USA).zip
                                                    |   Aa Harimanada (Japan).zip
                                                    |   Addams Family, The (World).zip
                                                    |   Adventures of Batman & Robin, The (USA, Europe).zip
                                                    |   Aerial Assault (Japan) (Rev 1).zip
                                                    |   Aerial Assault (World).zip
                                                    |   Aladdin (Japan).zip
                                                    |   Aladdin (USA, Europe).zip
                                                    |   Alien 3 (Japan).zip
                                                    |   Alien 3 (USA, Europe).zip
                                                    |   Alien Syndrome (Japan).zip
                                                    |   
                                                    \---all
                                                        \---images
                                                                5 in 1 Funpak (USA)-image.jpg
                                                                Aa Harimanada (Japan)-image.jpg
                                                                Addams Family, The (World)-image.jpg
                                                                Adventures of Batman & Robin, The (USA, Europe)-image.jpg
                                                                Aerial Assault (Japan) (Rev 1)-image.jpg
                                                                Aerial Assault (World)-image.jpg
                                                                Aladdin (Japan)-image.jpg
                                                                Aladdin (USA, Europe)-image.jpg
                                                                Alien 3 (Japan)-image.jpg
                                                                Alien 3 (USA, Europe)-image.jpg
                                                                Alien Syndrome (Japan)-image.jpg
                                    

                                    Le dossier gamelists/gamegear doit exister. Et voici le gamelist.xml que j'obtiens je pense assez proche de ce que tu veux

                                    <gameList>
                                          <game id="11827" source="theGamesDB.net">
                                              <path>./5 in 1 Funpak (USA).zip</path>
                                              <name>5 in 1 Funpak (USA)</name>
                                              <desc>5 In One Fun Pak is a Board game, developed by Beam Software and published by Interplay, which was released in 1994.</desc>
                                              <image>~./all/images/5 in 1 Funpak (USA)-image.jpg</image>
                                              <releasedate>19940101T000000</releasedate>
                                              <developer>Beam Software</developer>
                                              <publisher>Interplay</publisher>
                                              <genre>Strategy</genre>
                                              <players>2</players>
                                          </game>
                                          <game id="20542" source="theGamesDB.net">
                                              <path>./Aa Harimanada (Japan).zip</path>
                                              <name>Aa Harimanada (Japan)</name>
                                              <desc>Aa Harimanada () is a 1993 sumo wrestling game by Sega for the Sega Game Gear and Sega Mega Drive made to tie into TV Tokyo's Aa Harimanada anime.
                                    
                                    The game is a typical fighting game with various button combinations doing something different. The Mega Drive version has a password system and a two-player versus mode.</desc>
                                              <image>~./all/images/Aa Harimanada (Japan)-image.jpg</image>
                                              <rating>0.55</rating>
                                              <releasedate>19930702T000000</releasedate>
                                              <developer>Sega</developer>
                                              <publisher>Sega</publisher>
                                              <genre>Fighting</genre>
                                              <players>1</players>
                                          </game>
                                    
                                    1 Reply Last reply Reply Quote 0
                                    • messij
                                      messij last edited by

                                      Je te remercie vraiment pour les efforts que tu fait pour m'aidé mais malheureusement ce n'est pas encore ce à quoi je voudrait arriver. Puisque un dessin vaux mieux qu'un long discours je joint au message une image de ce a quoi je voudrait arrivé en scrapant. En haut a gauche le dossier snes lui même dans le dossier roms. Il contient le gamelist.xml le dossier All et mes roms préférés avec leurs images respective à coté (j'ai évidement réduit le nombre de roms pour rendre la chose plus lisible). En bas à gauche le dossier All avec toutes les autres roms et leurs images respectives à coté. Et à droite le gamelist.xml qu'il faudrait abtenir pour tout ça (j'ai expressément viré les descriptions) Pourquoi je veux tous ça ?? Ca n'est pas qu'un caprice ... bon ok un peut. D'une je trouve ça plutot classe d'avoir les image à coté des roms. De deux mes roms sont sur un disque dur connecté à mon raspberry (car j'ai beaucoup de roms PSX) ce qui fait que si je teste un truc sous recalbox, que tout plante (ce qui arrive souvent) que je suis obligé d’installé recalbox, ou qu'il y a une mise à jour de recalbox et qu'il faut tous réinstallé je ne pers pas tous mon scraping. Troisièmement j'utilise aussi Retropie avec ce même raspberry et ça me permet donc d'avoir la même bibliothèque pour les deux OS. C'est déja super de pouvoir tous scraper d'un coup et au même endroit maintenant si je peut arrivé à tous ça je serait aux anges. Merci encore.

                                      1 Reply Last reply Reply Quote 0
                                      • acris
                                        acris last edited by

                                        Bonjour c'est bien ce qu'il me semble que tu voulais tout stocker au même endroit, il suffit juste de comprendre ce que j'ai mis plus haut tout est une question de chemin vers les fichiers La difficulté va être de scraper les deux endroits. ceci devrait fonctionner pour le dossier all et il faudra ajouter un if else.

                                        REM DOSSIER ALL
                                        REM VARIABLES à modifier
                                        set img_dir=D:\Divers\bureau\Testscarping\roms\%%i\all
                                        set chemin_img=~./all/
                                        set gamelist=D:\Divers\bureau\Testscarping\roms\%%i\
                                        
                                        1 Reply Last reply Reply Quote 0
                                        • acris
                                          acris last edited by

                                          Re, voici le batch pour ton cas : RETIRE L'ESPACE DE CE DOSSIER POUR QUE çA FONCTIONNE Test scraping -> Testscraping

                                          @echo off
                                          ::Scraper By Acris pour Recalbox
                                          ::télécharger https://github.com/sselph/scraper/releases
                                          ::virtualboy, playstation, scummuvv non pris en charge par scaper.exe
                                          REM SCRAPer ACRIS POUR Messij
                                          set img_dir=D:\Divers\bureau\Testscraping\roms\%%i
                                          set chemin_img=~.
                                          set gamelist=D:\Divers\bureau\Testscraping\roms\%%i
                                          set roms=D:\Divers\bureau\Testscraping\roms\%%i\
                                          
                                          ::CONSOLES
                                          FOR %%i in (nes snes n64 gb gbc gba mastersystem megadrive sega32x segacd fds gg pcengine atari2600 msx sg1000) do (
                                           for /f "tokens=*" %%a in ('dir /b /D "%roms%"') do if all==%%a (
                                          scraper.exe -use_gdb=true -add_not_found=true -image_dir="%img_dir%\%%a" -rom_dir=%roms%%%a -image_path="%chemin_img%%%a" -output_file="%gamelist%\gamelist.xml" -no_thumb=true -max_width=375
                                          else
                                          scraper.exe -use_gdb=true -add_not_found=true -image_dir="%img_dir%" -rom_dir=%roms% -image_path="%chemin_img%" -output_file="%gamelist%\gamelist.xml" -no_thumb=true -max_width=375
                                          )
                                          )
                                          
                                          ::Arcade
                                          FOR %%i in (mame fba fba_libretro) do (
                                           for /f "tokens=*" %%a in ('dir /b /D "%roms%"') do if all==%%a (
                                          scraper.exe  -mame -mame_img "m,t,s" -image_dir="%img_dir%\%%a" -rom_dir=%roms%%%a -image_path="%chemin_img%%%a" -output_file="%gamelist%\gamelist.xml" -no_thumb=true -max_width=375
                                          else
                                          scraper.exe -use_gdb=true -add_not_found=true -image_dir="%img_dir%" -rom_dir=%roms% -image_path="%chemin_img%" -output_file="%gamelist%\gamelist.xml" -no_thumb=true -max_width=375
                                          )
                                          )
                                          pause
                                          EXIT
                                          
                                          1 Reply Last reply Reply Quote 0
                                          • messij
                                            messij last edited by

                                            J'obtient un message d’erreur me disant : Le fichier spécifié est introuvable J'ai pourtant bien vérifie les chemin et tout colle ... Edit: Bon c'était une histoire de majuscule sur le dossier All qui ne passait pas. Ca scrape bien mais les images ne vont toujours pas dans le dossier all. J'ai du mal à comprendre la ligne for /f tu pourrais expliquer ?

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            63
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com