Scraper Français

[screech]

Tadaaaa !!! Et voici la première version Alpha 0.0.0.2 ^^ <del datetime="2016-02-23T16:56:19+00:00">Universal_XML_Scraper (Alpha 0.0.0.2)</del> Donc :

• Interface Multilangue - English / French
• Configuration pas trop compliqué pour les profils de base (juste des chemins à configurer)
• 3 profils fonctionnel (Screenscraper vers recalboxV3, vers recalboxV4, vers emulationstation)
• Possibilité limité pour le moment de création de profil
• scan du répertoire des roms avec substitution des chemins dans le fichier xml
• download des images avec substitution des chemins dans le fichier xml
• création du fichier xml final

To do à cours terme :

• possibilité de redimensionner les images
• ajouter thegamedb dans les bdds (pour les anglophones qui utilise la recalbox)
• ajouter d'autre système genre hyperspin
• refaire mon système d’édition de fichier xml avec du scrape "à l'unité" (rechercher un jeu par son nom par exemple lorsqu'il n'a pas été trouvé via son CRC/MD5/SHA1)

Petit Tuto pour créer un profil : Ajouter le nom du profil dans la partie [PROFILS_SCRAPER] exemple : $PROFILS_SCRAPER_4 = 'ScreenScraper-superfrontend' Créer une section du même nom exemple : [ScreenScraper-superfrontend] Dans cette section, on ajoute les images (si on veut ^^) dans une taille de 150x100 1 pour la source et 1 pour la cible exemple : $IMAGE_SOURCE= 'Screenscraper.jpg' $IMAGE_CIBLE = 'superfrontend.jpg' Ensuite, un élément par tag XML. On commence par le root avec le nom du root cible en premier, un pipe, le mot root, un pipe le nom du root source, un pipe et enfin le mot root exemple : $ELEMENT_1 = 'gameList|root|Data|root' on continue avec le child dans le même format avec le mot child à la place de root exemple : $ELEMENT_2 = 'game|child|jeu|child' Et enfin on ajoute chaque élément avec des tags particuliers : value -> on reprend directement la valeur attr: -> on prend un attribut et on précise après le ":" de quelle élément est l’attribut (exemple : id|attr:game va créer un attribut id à l’élément game) variable -> pour le moment seul 2 variables sont prises en compte : la variable %RomPath% (qui va reprendre le chemin de la rom avec substitution) et une valeur sans % (qui écrira directement cette valeur. Pratique pour les valeurs fixes) path: -> Il s'agit d'un chemin pour un élément à télécharger, exemple, les images. (En indiquant path:image, le soft va downloader l'image dans le répertoire indiqué dans la config et va mettre le chemin avec substitution du fichier téléchargé) Detail important : dans le cas ou il y a plusieurs éléments dans la sources, seul le 1er est pris dans le cas ou vous voudriez pouvoir mettre plusieurs valeurs, vous pouvez doublez un élément, s'il n'y avait rien dans le 1er il essayera le 2eme. Exemple : $ELEMENT_9 = 'desc|value|synopsis/synopsis_fr|value' $ELEMENT_10 = 'desc|value|synopsis/synopsis_us|value' S'il n'y a pas de synopsis_fr à mettre dans le champs desc, il va prendre le synopsys_us à la place Exemple de profil : [code] [ScreenScraper-Recalbox v4] $IMAGE_SOURCE = 'Screenscraper.jpg' $IMAGE_CIBLE = 'RecalboxV4.jpg' $ELEMENT_1 = 'gameList|root|Data|root' $ELEMENT_2 = 'game|child|jeu|child' $ELEMENT_3 = 'id|attr:game|id|value' $ELEMENT_4 = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5 = 'path|value|%RomPath%|variable' $ELEMENT_6 = 'emulator|value' $ELEMENT_7 = 'core|value' $ELEMENT_8 = 'name|value|nom|value' $ELEMENT_9 = 'desc|value|synopsis/synopsis_fr|value' $ELEMENT_10 = 'desc|value|synopsis/synopsis_us|value' $ELEMENT_11 = 'image|value|medias/media_screenshot|path:image' $ELEMENT_12 = 'image|value|medias/media_box2d_fr|path:image' $ELEMENT_13 = 'image|value|medias/media_box2d_us|path:image' $ELEMENT_14 = 'thumbnail|value' $ELEMENT_15 = 'rating|value|note|value' $ELEMENT_16 = 'releasedate|value|dates/france|value' $ELEMENT_17 = 'releasedate|value|dates/europe|value' $ELEMENT_18 = 'releasedate|value|dates/usa|value' $ELEMENT_19 = 'releasedate|value|dates/japon|value' $ELEMENT_20 = 'developer|value|developpeur|value' $ELEMENT_21 = 'publisher|value|editeur|value' $ELEMENT_22 = 'genre|value|genres/genre|value' $ELEMENT_23 = 'players|value|joueurs|value' $ELEMENT_24 = 'favorite|value' $ELEMENT_25 = 'region|value' $ELEMENT_26 = 'romtype|value' $ELEMENT_27 = 'hidden|value' $ELEMENT_28 = 'playcount|value' $ELEMENT_29 = 'lastplayed|value' [/code] Voila je vous laisse faire des tests si vous voulez n'hesitez pas à revenir vers moi pour tous bug ou demande d'amélioration (sachant que je travail sur la to do list ^^)

[luckiest]

Salut, Une petite question, cette application, traduirait les gamelist en francais ? Je vais essayer de suite ^^ Luckiest

[screech]

Hello, elle ne traduit pas réellement les gamelist en FR. Elle scrape vos roms avec les infos provenant de la Bdd ScreenScraper qui est en FR (encore en cours d’alimentation, n’hésitez d’ailleurs pas à y participer ) Donc en gros, elle scan le rep des Roms et génère un fichier gamelist.xml avec les descriptions en FR (pour celle existante, sinon c'est en anglais si elle ne trouve pas de Desc en FR) et télécharge un screenshot lié à la Rom (si tu as bien configuré les chemins et chemins de substitution ).

[rockaddicted]

Bien joué @Screech, beau boulot! Je vais tester ça sous une VM quand j'aurais un peu de temps. J'ai une question à te demander, actuellement si j'ai bien suivi, le scraper télécharge un screenshot du jeu. Serait il possible d'avoir le choix entre un screenshot et une cover du jeu ?

[screech]

Oui c'est tout à fait possible, il suffit d'editer le fichier config.ini pour modifier les profils. Pour ce que tu veux, dans le profil [screenscraper-recalbox V4] Tu peux modifier les lignes suivantes : $ELEMENT_11 = 'image|value|medias/media_screenshot|path:image' $ELEMENT_12 = 'image|value|medias/media_box2d_fr|path:image' $ELEMENT_13 = 'image|value|medias/media_box2d_us|path:image' La ces lignes veulent dire : download l'image medias/media_screenshot si pas présente download l'image medias/media_box2d_fr si pas présente download l'image medias/media_box2d_us Si tu veux la liste complete des images downloadable, tu peux aller ici : http://www.screenscraper.fr/webapi.php?alpha=0&numpage=0 et regarder la section jeuInfos.php

[screech]

<del datetime="2016-02-23T16:56:44+00:00">Version 0.0.0.4</del> Correction sur les chemin de substitution qui collait systématiquement un \ et linux aime pas ça donc attention à bien utiliser des / pour indiquer ou se trouve vos roms et vos images. Sinon je viens de faire mes premier tests directement sur la recalbox Verdict : CA MARCHE !!! ^^ Un petit conseil pour la recalbox : créez un répertoire "images" directement dans le répertoires ou se trouve vos roms pour y télécharger vos images. Stockez aussi votre fichier gamelist.xml directement dans le répertoire de vos roms. Du coup dans les paths vous pouvez mettre (par exemple pour la nes sur une V4) : $PathRom =\RECALBOX\User data\roms\nes\ $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\images\ $PathImageSub =./images/ Pensez bien à quitter emulationstation avant de faire le scrape et faire un reboot après

[luckiest]

Bonjour Screech et tous ^^ Bon donc après plusieurs tentatives, il recupere bien la liste, calcul les HASH, aucun message d'erreur, génére un nouveau fichier gamelist en renommant l'ancien en old mais le nouveau est vide ... <?xml version="1.0" encoding="UTF-8"?> <gameList/> Mes gamelist et images sont dans le répertoire roms et sur un clé USB. Ma config : $PathRom =G:\recalbox\roms\fba\ $PathRomSub =.\ $PathNew =G:\recalbox\roms\fba\gamelist.xml $PathImage =G:\recalbox\roms\fba\downloaded_images\ $PathImageSub =.\downloaded_images\ $No_Profil =1 $user_lang =040c Mauvaise config ?

[screech]

Alors, tous d'abord voici une petite version mise à jour : <del datetime="2016-02-29T12:00:55+00:00">Version 0.0.0.5</del> Ce qu'elle fait : - Mise ne majuscule pour les descriptions dans Recalbox (recalbox mets automatiquement en MAJ les desc, mais pas les accents. Du coups avec cette options, les lettres sont en MAJ avec Accents ) - Ajout de variable pour afficher les crc32, md5 et sha1 des roms scrappé dans le XML - Ajout d'une petite sécurité Pour ton problème, j'ai juste une petite question : tes roms sont elles zippées ? Si oui, il faudrait que tu refasse un scrape avec cette version et que tu me donne quelques noms de roms et le crc32 qui va avec (histoire de voir si la rom existe bien dans screenscraper) Si non, pour le moment, screenscraper ne contient que des roms zippées (ou 7zippées ^^) Du coup, pour la nintendo64 par exemple, il ne trouvera pas de rom en fichier .n64 Je vais bientôt améliorer mon soft pour que les infos des roms soient correctement renvoyé à screenscraper pour améliorer la BDD avec les crc des roms dézippées. Du coup, ScreenScraper pourras aussi fournir les info sur des roms "brutes" tiens moi au courant

[luckiest]

Bonjour ce jour, Je suis de plus en plus admiratif du travail que vous avez fourni avec la nouvelle version, il n'y a vraiment plus grand chose à faire en paramétrage. Screen je viens de tester ton apli et avec la version 0.0.0.5 ça marche Nickel. En revanche, il refait le gamelist.xml uniquement avec les correspondance trouvé, c'est dommage qu'il ne reprenne pas les autres même si pas de correspondance. Je viens de tester sur mes roms fba car apparemment cela ne fonctionne que sur des roms zippé, hors sous Recalbox seul les arcades sont zippé je me trompe? Alors, sur 189 il en a traduit 59 par contre, il a supprimé les autres ... dommage. Est-ce volontaire ou ce n'est pas possible de ne pas toucher aux autres ? Voili, voilou Luckiest

[screech]

Oui, attention, je suis encore en version Alpha de chez Alpha Pour le moment il recréer l’intégralité du fichier. Mais je rajouterais bientôt des fonctions d'ajout pour ajouter à un existant, ou pour mettre à jour un existant (du genre, juste les descriptions en FR ) Pour les zip, c'est aujourd'hui une limitation de screenscraper. La recherche se fait sur un calcul de crc du fichier de Rom. Et ne sont référencé que les crc des fichiers zippés. Mais je prépare une moulinette pour envoyer les fichiers dézipés dans la BDD pour que le scrape retrouve aussi des roms brutes. Sinon, pour info, toutes mes roms sont zipées dans recalbox à l’exception des rom N64 (ou ce n'est pas conseillé) et tous marche très bien (tout en économisant pas mal de place ^^) De la même manière, toutes les roms/jeux ne sont pas encore implémenté dans Screenscraper, il peut donc y avoir des manques. C'est aussi pour ça que je prévois d'ajouter thegamedb au scraper pour pouvoir compléter plus facilement les trous ^^ En tout cas, merci pour ton retour. l'aventure continue

[luckiest]

C'est la moindre des choses le retour au vue du travail fourni. Je me suis inscrit sur Screenscraper, le temps de me familiariser un peu à l'ajout des données et je passerai donner un petit coup de main. Remplir les cases et coller des images c'est à ma portée ^^ Et si en plus ça peut permettre à la communautés Recalbox d'avoir un scrape propre et en FR. D'ailleurs à ce sujet, inclure les gamelist et images directement dans les répertoires ce ne serait pas autorisé ? L'utilisateur n'aurait plus qu'à mettre ses roms et elles seraient automatiquement listé non ? En tout cas l'aventure continu et je vais suivre de prêt les mise à jour de ton appli ^^ Bon, je vais de ce pas zippé ses roms sauf celle de N64, merci de l'info A bientôt Luckiest

[screech]

Concernant l'emplacement du fichier gamelist.xml et du repertoire image, perso, je colle tout dans le repertoire des roms. Emulationstation sais le gérer. Et du coup, c'est beaucoup plus simple niveau "maintenance" et "sauvegarde". ça me fait par exemple : \Roms --\nes -----\mario.zip -----\zelda.zip -----\gamelist.xml -----\images --------\mario.jpg --------\zelda.jpg --\megadrive -----\sonic.zip -----\gamelist.xml -----\images --------\sonic.jpg etc.... Le répertoire des roms étant en share. Je peux utiliser mon programme directement depuis mon PC windows sur le réseau (sans oublier de faire un 'kill emulationstation' avant... sinon ça marche pas ^^)

[screech]

Voici une nouvelle version avec quelques corrections : (Oups boulette sur l'exe... Je corrige :p) C'est encore loin d’être au top mais ça fonctionne

[screech]

Voila, cette version fonctionne bcp mieux ^^ <del>Version Alpha 0.0.0.8</del> (J'avais laissé des fenêtre de débogage dans l'ancienne... Et Dans celle la le moteur de création de fichier XML marche bcp mieux ) Pour info, si vous voulez suivre l'évolution du Scraper : Screenzone Je tiendrais les 2 version à jour ici et sur Screenzone (vue que pour le moment c'est exclusivement la BDD Screenscraper utilisée ) Mais j'ai du mal à tout faire en même temps

[screech]

Nouvelle version ALPHA V 0.0.0.10

• Correction de releasedate dans le cas ou le pays n'est pas connu
• Width et Height fonctionne maintenant (bon faut que je corrige le sens : Hauteur/longueur en largeur/hauteur ce sera plus propre mais ce sera pour le prochain coup ^^)
• correction du focus pour la fenêtre principale après une sortie de menu
• Les menus déroulant ne sont plus éditable
• Déplacement de tous les fichiers ressources, langues et config dans C:\Users"USER"\AppData\Roaming\UXMLS pour eviter de devoir lancer le soft en admin si on le mets dans program files

[acris]

Screech il serait judicieux peut être de mettre le lien aussi dans ta signature de profil. ça serait possible de un option fullscrap, tu genres on lui indique le dossier ou sont toutes les roms et on clique et il scrappe tout d'un coup car pour le moment je crois qu'on doit choisir les dossiers à un à un. faudrait une routine qui scranne le dossier et scrap en fonctionant du nom de dossier détecté comme en batch avec une boucle.

EXEMPLE BOUCLE AVEC SSHELP SCRAPPER 
FOR %%i in (nes snes n64 gb gbc gba mastersystem megadrive sega32x gg pcengine atari2600) do (
scraper.exe -image_dir="D:\recalbox\downloaded_images\%%i" -rom_dir=%%i -image_path="~/.emulationstation/downloaded_images/%%i" -output_file=D:\Recalbox\gamelists\%%i\gamelist.xml -no_thumb=true -max_width=375
)

Pas très pratique d'avoir changer l'emplacement des ressources, avant pour modifier rapidement un fichier on avait tout sous les yeux dans le dossier du scrapper maintenant oubliger de mettre le systeme en fichiers cachés ouvert et aller chercher les fichiers de configuration. Pour le profil hmmmm c'est compliqué quand on ne maitrise pas le jargon. J'ai chargé le profil pour recalbox 4 j ai configuré les chemins et le bouton scraping se désactive mais aucune activitée

[luckiest]

Bonjour, Bon je ne dois vraiment pas être doué .... ^^ En tout cas si tu avais besoin d'un testeur de base tu en a trouvé un lol Alors pour ma part, il scanne bien les roms mais le fichier gamelist.xml me donne ça : <game source="ScreenScraper"> <path>C:\Users*\Desktop\TEST\mame3wonders.zip</path> <crc32>E0C5C87B</crc32> <md5>19DF03919641F35B582496FE89850020</md5> <sha1>37B6B61732F475285ACD5F05E34B6B34AECF6DA1</sha1> </game> <game source="ScreenScraper"> <path>C:\Users*\Desktop\TEST\mame64street.zip</path> <crc32>95135202</crc32> <md5>0907CEE68284F5D9B1259DC25C3392E1</md5> <sha1>2BBE5841407E3E27A0E2C3719FD87055E6622A15</sha1> </game> De plus pour le chemin des roms dans le fichiers XML il faut penser à rajouter "" à la fin car quand on le sélectionne via les 3 petits points, il ne le met pas. Voili, voilou Luckiest

[renaiku]

@Screech, c'est quoi la différence entre ton logiciel ici et l'autre dans un autre sujet ? Car du coup lequel suis-je censé prendre ... ?   EDIT en tout cas, la V0.0.0.10 de démarre tout simplement pas sur Windows10 (même en administrateur). La souris garde l'icone de "reflexion" pour toujours par contre. J'ai du redémarrer le PC car je ne trouvais pas le processus que l'application a démarré.

[acris]

L autre sujet le scrap est basé sur un site américain et donc le scrap sera en anglais. Av celui ci le scrap sera en français car basé sur un site de scrap français

[screech]

Hello, Pour le fonctionnement sous Win10, je n'ai pas testé (je n'ai pas de W10 sous la main). Par contre, le process doit porter le même nom que l'exe (cad universal XML scraper.exe) et il est possible que ce soit l'antivirus qui bloque ce process. C'est un élément que l'on m'a déjà remonté. Comme j'utilise les fonctions d'une DLL de windows pour les accès aux fichiers XML, j'ai l'impression que les antivirus considèrent ça comme une attaque :S (ce qui est bien stupide... Et il faudrait que je trouve comme se faire valider se fonctionnement par les antivirus :S c'est pas gagné...)