[Obsolète][TUTO] Scraper ses jeux depuis son PC plus efficacement.

[rockaddicted]

Une version anglaise (qui vaut ce qu'elle vaut avec mon anglais basic...) est maintenant disponible dans le wiki de la recalbox.

[NeeeeB]

Super !!

[ginjed]

Bonjour, J'ai testé la méthode, le scraper d'EmulationStation étant assez peu fiable, mais, ça ne fonctionne pas tout à fait chez moi. Voici la situation dans laquelle j'ai testé la méthode : Windows Vista WinSCP Scraper Windows RPi2 Dernière version de Recalbox Scraping déjà réalisé sous EmulationStation pour SNES et Megadrive (mais quelques roms dépourvues de métadonnées) J'ai suivi la procédure et utilisé la ligne de commande indiquée, en spécifiant snes pour la SNES et megadrive pour la Megadrive. Il me crée effectivement un fichier "gamelist.xml" et un dossier "images" dans lequel se trouvent toutes les visus des boites. Jusque là, pas de soucis. J'utilise WinSCP pour accéder à ma Recalbox et upload le fichier "gamelist.xml" dans /root/.emulationstation/gamelists/snes (pour la SNES) Puis j'upload le dossier "images" dans /root/.emulationstation/downloaded_images/ et je le renomme en snes (vu que dans gamelist.xml, c'est le chemin spécifié). Puis je définis les droits sur 0644. Je ferme WinSCP et fais un restart de la recalbox. Après redémarrage, le scraping n'a pas changé d'un iota. Ca m'intriguait et j'ai donc fait quelque tests afin de comprendre ce qu'il se passait et j'ai conclu ceci : quand je relance ma recalbox, le fichier gamelist.xml est modifié et remplacé par sa version précédente. Pour en être certain, j'ai supprimé le gamelist.xml et relancé le RPi. Comme on s'y attendrait, la liste dans EmulationStation est redevenu toute simple. J'ai donc recommencé la procédure et uploadé les fichiers. Après restart, le fichier a perdu tout son contenu et seulement deux très courtes lignes subsistent (inutile de dire que la liste est forcément restée basique dans EmulationStation ). Moi qui aime les choses carrées et bien rangées, j'avoue que c'est plutôt frustrant lol Quelqu'un a-t-il déjà rencontré pareil problème ou saurait me renseigner sur la marche à suivre pour contrer cet effet ? Ma gratitude sera sans limite si quelqu'un me sort cette épine du pied

[aruka]

Tu as l'air de faire ce qu'il faut mais lors du "scraping" tu ne vois affiché aucune erreur dans la fenêtre de commande ? ton fichier gamelist.xml qui est généré une fois le scrape terminé contient-il des infos (éditeurs, note, descriptif ...) ? Si oui, j'aurai alors tenté de passé le chmod de 0644 à 0777 pour voir mais bon j'ai un doute ou alors voir si ton fichier est correctement upload lors du transfère avec WinSCP Autre détail, tu as bien dézipé tes roms avant le scrape ? toute les roms doivent être dézipé à la racine de leur répertoire je crois que scraper.exe ne digère pas le .zip.

[ginjed]

Non, aucun message d'erreur. Le dossier "images" est complet (chaque rom a son visu quoi). Quant à gamelist.xml, il est bien fourni en contenu et semble correct (contenu géré avec balises genre <name> </name>, chemins, textes etc). Pour l'upload du fichier, j'avais déjà fait le test en ouvrant le fichier gamelist.xml copié sur la recalbox et il était correct (j'avais les infos de roms que je n'avais pas su obtenir sous EmulationStation) Je vais tenter le chmod à 0777, on verra bien ce qu'il se passe.

[horwell]

J'ai le même soucis que toi , si jamais tu as trouvé une solution , je serais intéressé

[ginjed]

@Horwell: Tu as déjà essayé le chmod à 0777 comme l'a proposé Aruka ? (histoire de voir si je dois être impatient de rentrer du boulot ou pas^^)

[horwell]

@Ginjed : Non je n'ai pas encore essayé avec 0777 , je suis coincé au boulot aussi

[ginjed]

Alors, après avoir testé, le changement du chmod en 0777 ne change rien. Pour info, voici la première partie de mon fichier gamelist.xml (jusque la fin du premier jeu de la liste):

  <gameList>
      <game id="18827" source="theGamesDB.net">
          <path>./Choujikuu Yousai Macross - Scrambled Valkyrie (Japan).sfc</path>
          <name>Choujikuu Yousai Macross - Scrambled Valkyrie (Japan)</name>
          <desc>The legend of the Valkyrie pilots is not yet over. Hikaru, Max, and Millia take flight to defend the earth from Zentraedi, robots, more robots, and giant space crab-bees. Now is the time to scramble Valkyrie again. 

When starting a game or continuing the player picks from either Hikaru, Max, or Millia. Each flies a custom Valkyrie with its own set weapon load-out. A Valkyrie changes its weapon and movement speed by switching between its three forms: Fighter, Gerwalk, and Battroid. Typically the Valkyrie weapon shoots straight and quickly, the Gerwalk weapon shoots around or through obstacles, and the Battroid weapon does higher damage in exchange for reduced firing rate. Each weapon can be upgraded up to twice by picking up power up items dropped by special enemy ships, but one level of power up will be lost any time the Valkyrie is shot. If a Valkyrie's entire life bar is depleted then the full stage must be repeated, provided the player still has enough continues.

In a nod to Galaga the player is able to capture some enemy craft to increase their firepower. If the player does not shoot any weapons for a few seconds a field of electricity will cover the Valkyrie. Touching some enemy ships will then cause their targeting to be shorted out and make them friendly to the player, following along and shooting or ramming onscreen enemies.</desc>
          <image>~/.emulationstation/downloaded_images/snes/Choujikuu Yousai Macross - Scrambled Valkyrie (Japan)-image.jpg</image>
          <rating>0.5</rating>
          <releasedate>19931029T000000</releasedate>
          <developer>Winky Soft Co., Ltd.</developer>
          <publisher>Zamuse</publisher>
          <genre>Shooter</genre>
          <players>1</players>
      </game>

A première vue, tout à l'air ok selon moi... Mais je peux me tromper^, étant vraiment loin d'être un pro ^^ Et quand je redémarre la recalbox, il se transforme en ceci :

<?xml version="1.0"?>
<gameList>
	<game>
		<path>/recalbox/share/roms/snes/Darius Twin (Europe).sfc</path>
		<name>Darius Twin (Europe)</name>
		<playcount>1</playcount>
		<lastplayed>20150414T150837</lastplayed>
	</game>
</gameList>

C'est vraiment très étonnant d'autant que Darius Twin est le jeu que j'ai lancé en rentrant du boulot... Quelqu'un aurait une idée de ce qui cloche ?

[NeeeeB]

Effectivement je ne vois pas trop ce qui cloche dans vos manips. Je dirais même que vous faites tout correctement. Je ne pourrai pas vous être d'une grande aide malheureusement.

[rockaddicted]

Bizarre tout ça... et quand tu vas en SSH dans ton répertoire gamelist cd /root/.emulationstation/gamelists/ et que tu regardes les droits des répertoires ls -l tu as quoi ?

[ginjed]

@rockaddicted : Tous les dossiers sont en 0755 (si j'ai bien compris ce que tu me demandes, vu que je suis un groooooooos débutant^^)

[acris]

Bonjour Ginjed dans ceci tu n'indiques pas cette ligne <?xml version="1.0"?> après reboot. Est elle présente ou pas ?

<gameList>
      <game id="18827" source="theGamesDB.net">
          <path>./Choujikuu Yousai Macross - Scrambled Valkyrie (Japan).sfc</path>
          <name>Choujikuu Yousai Macross - Scrambled Valkyrie (Japan)</name>
          <desc>The legend of the Valkyrie pilots is not yet over. Hikaru, Max, and Millia take flight to defend the earth from Zentraedi, robots, more robots, and giant space crab-bees. Now is the time to scramble Valkyrie again. 

When starting a game or continuing the player picks from either Hikaru, Max, or Millia. Each flies a custom Valkyrie with its own set weapon load-out. A Valkyrie changes its weapon and movement speed by switching between 

si elle est absente, ajoute la , reboot et teste.

<?xml version="1.0"?>
<gameList>
      <game id="18827" source="theGamesDB.net">
          <path>./Choujikuu Yousai Macross - Scrambled Valkyrie (Japan).sfc</path>
          <name>Choujikuu Yousai Macross - Scrambled Valkyrie (Japan)</name>
          <desc>The legend of the Valkyrie pilots is not yet over. Hikaru, Max, and Millia take flight to defend the earth from Zentraedi, robots, more robots, and giant space crab-bees. Now is the time to scramble Valkyrie again.

[mathieu-lopez]

Ça ressemble bien à ce que je cherche tout ça ... C'est parfait, merci !

[messij]

Bonjour à tous, c'est vraiment super de pouvoir scraper direct depuis le PC, merci pour ce tuto. J'ai remarqué quelque chose en scrapant toutes mes roms. Si on place les images ainsi que le fichier gamlist.xml directement dans le dossier des roms, emulationstation prend en compte ce ficher gamelist.xml. Personnellement je trouve ça plus pratique d'avoir tout au même endroit (les ROMs, les images et le gamelit.xml), pas besoin de passer par WinSPC, mais seulement pas le réseaux. Il faut utiliser l'argument -image_path="." et le tour est joué. En plus c'est super classe d'avoir toutes les jaquettes a coté des jeux !!

[messij]

Ce que j'aime faire c'est avoir mes roms préférées dans le dossiers et un dossier que je nom "all" (pour qu'il soit au début de la liste) dans lequel je met le reste des roms. L'idéal pour moi serait que le chemin des image soit le même que le chemin des roms dans le gamelist. (./NOM_ROM pour les roms préférées et ./all/NOM_ROM pour le reste). Y a-t-il un moyen de réliser cela ? dans la foulé est il possible d'enlever le -images a la fin du nom des images ?

[acris]

Bonjour il est possible de "parametrer" le scrap comme on le souhaite. Voici mon batch (scap.bat) pour scraper mes dossiers de roms. Il est brute et je travaille dessus pour que tout soit configurable y compris le déplacement du scap vers le stockage de recalbox. Il faut le placer dans le dossiers contenant les roms. Personnellement j ai recréé la même architecture de dossiers que recalbox

recalbox/share/roms
emulationstation/gamelists
emulationstation/download_images

Il suffit dans ton cas de jouer avec les variables que j'ai indiqué en remplaçant par les tiens. EXEMPLE

-rom_path :./N64/BEST  ou ./N64/ALL/ 
-image_path=./N64/BEST ou ./N64/ALL/

Ouvrir le bloc-note Copier/coller le contenu du code en dessous Clic sur Fichier > enregistrer sous Le placer au meme endroit que vos roms et avec executable scrap.exe type de fichier choisir : tous les fichiers (*) Nom du fichier : scraper.bat Clic sur Enregister

@echo off 
::Scraper By Acris pour Recalbox
::télécharger https://github.com/sselph/scraper/releases
::virtualboy, playstation, scummuvv non pris en charge par scaper.exe

::EXPLICATION
REM -image_dir="images": Dossier ou placer les images téléchargés localement.
REM -image_path="images": Chemin à utiliser pour les images dans gamelist.xml.
REM -rom_dir=".": Dossier contenant les roms
REM -rom_path=".": Chemin des roms à utiliser dans gamelist.xml.

REM VARIABLES à modifier
set img_dir=D:\recalbox\emulationstation\downloaded_images
set chemin_img=~/.emulationstation/downloaded_images/
set gamelist=D:\recalbox\emulationstation\gamelists

::Arcade
for %%i in (mame fba fba_libretro) do (
scraper.exe -mame -mame_img "m,t,s" -image_dir="%img_dir%\%%i" -rom_dir=%%i -image_path="%chemin_img/%%i" output_file=%gamelist%\%%i\gamelist.xml -no_thumb=true -max_width=375
)

::Consoles
FOR %%i in (nes snes n64 gb gbc gba mastersystem megadrive sega32x segacd fds gg pcengine atari2600 msx sg1000) do (
scraper.exe -image_dir="%img_dir%\%%i" -rom_dir=%%i -image_path="%chemin_img%/%%i" -output_file=%gamelist%\%%i\gamelist.xml -no_thumb=true -max_width=375
)
REM COPIER VERS LE RESEAU - A VENIR
::XCOPY "%img_dir%" \\RECALBOX\emulationstation\downloaded_images /D /E /C /R /H /I /K /Y
::XCOPY "%gamelist%" \\RECALBOX\emulationstation\gamelists /D /E /C /R /H /I /K /Y
exit

[messij]

Super de joie mon cœur tu emplie !!! Je vais tester tout ça et je te dit si je m'en sort !! Encore une petite question: est ce que avec de grosse collection de roms recalbox à tendance à être plus lent au démarrage et plus susceptible à cracher. J'ai l'impression que c'est mon cas mais je ne suis pas convaincu que cela vienne des roms.

[messij]

Alors je viens d'essayer avec ta méthode et .... je n'arrive à rien. Que je laisse les mêmes info que toi dans le scraper.bat ou que je met ce qui me correspondrait à mes roms cela ne change rien. Voila ce que j'ai fait. J'ai créé un fichier scraper.bat et collé dedans ton code dans mon dossier de roms. Ensuite je fait maj clic droit dans la fenêtre puis scraper.exe. Voila et ça fait toujours la même chose quoi su'il y ai dans le scraper.bat Qu'est ce que j'ai loupé ?

[acris]

Salut Messij il faut modifier cette partie avec tes informations . l'as tu fait ?

REM VARIABLES à modifier
set img_dir=D:\recalbox\emulationstation\downloaded_images
set chemin_img=~/.emulationstation/downloaded_images/
set gamelist=D:\recalbox\emulationstation\gamelists

Poste ton code sur http://pastebin.com/ que je te corrige. Le scraper.exe doit être au même endroit que le fichier bat. Il suffit de cliquer sur le fichier bat sans clic droit dessus La fenêtre s'ouvre et il y a un défilement d'information, que vois tu ?