Scraper Français
-
Salut Courte, En effet screenzone est une team qui travail sur la release kodibox qui permet d'utiliser kodi comme "alternative" à EmulationStation (Front office qui permet de naviguer d'un émulateur à l'autre et de lancer ses jeux). Cette distribution n'est pas compatible raspberry et le sera surement jamais car beaucoup trop de dépendances lourdes (en ressources), codées pour tourner sur pc... Pour ce qui est de leur scrapping FR screenscraper, il faudra voir quand il sera sortie exactement ce qu'ils proposent... Sur le principe ce peut être intéressant mais ne pas oublier que leur objectif principal est d'alimenter la kodibox. Et on a pas les mêmes contraintes hardware qu'un pc, c'est évident. là ou sur du hyperspin/kodibox tu cherche du contenu hd en priorité, de l'animation et du bien fat qui claque sur ton écran. Sur de la recalbox (et du raspberry plus généralement), tu vas chercher l'optimisation au maximum du poids des éléments... En grande raison à cause de hard qui même si il est vaillant, ne nous donne pas les mêmes possibiltiés qu'un pc. Aujourd'hui il n'existe pas de bdd gaming FR avec api ouverte. Donc je ne peux qu'apprécier une tel démarche. Mais ne perdons pas de vue que recalbox n'est pas uniquement francophone non plus. De plus je pense qu'il faudra s'attendre à une bdd très réduite dans un premier temps mais pourquoi pas y travailler ensemble oui. De notre coté, on a lancé il y a quelque temps un projet github de scrap full romset no intro. Le but étant de réaliser un scrap 100% romset supportés par recalbox en anglais dans un premier temps via des scrapeurs automatiques et une partie faite manuellement. Quand nous aurons terminé ce travail (ce qui n'est pas encore gagné vu les acteurs qui bosses dessus et qui sont pour la majorité aussi sur le développement de recalbox), nous avons pleins d'idées d'utilisation... Et le sujet scrapping reste important au sein de recalbox. Juste pas la priorité actuelle car un énorme chantier en perspective pour en améliorer significativement l'experience (au moment de la collecte mais aussi et surtout, au moment de l'utilisation !). Maintenant, on va attendre de voir exactement ce qu'ils sortent, si cela peut être utilisé sous recalbox et pourquoi pas, étudier un partenariat. On en discutera à ce moment là. Pour ceux qui ne sont pas inscrit sur screenzone, voilà la présentation du projet :
ScreenScraper, qu’est-ce que c’est ? ScreenScraper est un site créé pour faciliter la collecte et la redistribution communautaire libre (creative commons) des données et des médias des jeux vidéo rétro. Collecte des informations : comment étoffer la base de données ? Il permet à tous a chacun (après inscription gratuite) de proposer des éléments textes et/ou graphiques complémentaires afin d’étoffer ou de corriger la base de données ScreenScraper existante. Pour cela, Il suffit de consulter la liste des jeux des différents systèmes (arcade, consoles, consoles portable, micro-ordinateur,…) déjà inclus dans notre base de données puis de cliquer sur le nom du jeu concerné par l’ajout ou la modification de donnée ou de média puis de proposer votre participation via les formulaires inclus dans la page détail du jeu en question. Qualité & Modération Afin de pouvoir gérer la qualité des informations / médias fourni, chaque proposition sera, soit validé, soit refusé (donnée erronée, média non conforme ou de piètre qualité) par l’un de nos modérateurs. Les Chantiers ScreenScraper Un chantier, c’est le nom donnée une tache spécifique à accomplir par un ensemble de participants. Le chantier permet de segmenter les tâches à accomplir afin d’étoffer efficacement la base de données ScreenScraper. Elle permet de définir des priorités, de propose une méthode de participation pour n’importe quelle bonne volonté. Redistribution des informations : comment exploiter la base de données ? Les données et médias de la base ScreenScraper sont redistribués gratuitement (après ouverture d’un compte gratuit développeur (voir sujet sur le forum ScreenZone) ) via notre API (Service Web) permettant à n’importe quel développeur de Front-End ou d’utilitaire d’inclure dans son programme la récupération (scrape) de n’importe quelle donnée et/ou média de n’importe quel jeu de n’importe quel système inclus dans ScreenScraper. L’ API ScreenScraper : pour les developpeurs de Front-End et/ou d’utilitaire. Grace à notre système d’association chiffrée (calcul CRC/MD5) des fichiers roms/isos ou de dossier (pack no-intro, retrobution, Hyperspin, T411,..) a notre liste de jeux, il est plus facile, pour les développeurs, de récupérer les bonnes informations du bon jeu en fournissant le résultat de calcul CRC ou MD5 du fichier roms/isos ou du dossier : fini la galère des fichiers roms mal nommée. Si le CRC fourni existe dans notre base de données, il sera renvoyé les données du jeu associé quelques soit le nom donnée au fichier. ScreenScraper & HyperSpin. Dans le mois à venir, ScreenZone vous proposera son 1er utilitaire qui vous permettra de générer automatiquement tous les fichiers XML nécessaires au bon fonctionnement du front-end HyperSpin en fonction de votre propre bibliothèque de fichiers roms/isos ou de dossiers, de téléchargement automatiquement les fichiers thèmes systèmes (version ScreenZone) ainsi que la totalité des fichiers médias : wheel (standard / carbon / steel), vidéo, boitier de jeux, support d’origine (cartouches, k7, disquette,…), … Cette utilitaire, laisser ouvert en tache de fond, s’occupera automatiquement de la mise à jour de votre hyperspin en fonction de l’évolution de notre base de données et de vos ajouts de fichiers roms/isos. Front-End ScreenFlow Dans l’avenir (date indéterminée), ScreenZone développera son propre logiciel Front-End exploitant la totalité des données/médias de ScreenScraper.
-
OK, je voulais juste donné l'info merci de m'avoir lu mais en effet si la priorité d'un tel scraper est les media HD cela risque de ne pas coller a Recalbox. Tout ce que je sait car je connais très bien la team Screenzone avant même que le forum voit le jour car j'ai bossé sur la Kodibox au tout début avec eux, c'est que l'objectif est de sortir leur propre Frontend et ce nouveaux scraper est la première parti de leur travail. Ce que j'en pense: C'est que pour Recalbox nous avons besoin des descriptions et des infos Date/éditeur .... ainsi qu'une cover en 2d car je pense que les box 3d sont plus gourmande et moins adapté. Les média du genre vidéo, thème et le reste est pour Hyperspin/Kodibox ou autre frontend PC. L'objectif serait de récupéré juste ce que nous avons besoin, après je sait pas si c'est possible. Maintenant reste a savoir si les covers 2D sont au programme mais je pense que ce sera le cas. Je comprend tout a fait que le Scraper n'est pas la priorité actuelle, je voulais juste passé l'info car je connais absolument rien en programmation donc je ne peut pas juger moi même.
-
Aucun soucis, tu as très bien fait au contraire ! :). On a comme je te l'ai dit un projet de scrapping aussi sur recalbox. Alors si on peut fusionner les efforts, ça n'en sera que meilleur. J'ai juste mis quelques resserves à la volé car malheureusement on a pas mal de limitations sous raspberry qu'on a tendance à oublier quand on se fait une partie de retrogamming endiablée :D. Ca reste une très bonne nouvelle dans tout les cas ! :). Mais je vais suivre ça de prêt et on verra ce qui peut être fait.
Bonne fin de journée -
Je reviens vers vous car la base de donné est ouverte ! Franchement il ont fait du bon boulot, ce nouveau scraper français va surement faire parler du lui ! Alors pour les covers il ya une base texture qui génère des box 3d et 2d donc c'est good ! La base de donnés est déja bien garnie mais chaque membres peuvent contribué a l'alimenté au fil du temps, je vous laisse vous faire votre propre avis mais ça vaut le coup d'oeil !
-
Je n'ai pas bien compris comment avoir des scraps en français du coup...
-
Pour la petite information, je suis en train de travailler sur un scraper sous windows pour créer les fichiers XML de notre recalbox avec les infos en FR provenant de screenscraper
Je manque de temps, mais ça va venir vite -
Cool jai hate de tester.
-
@Screech, les scrappe en FR m'intéresse aussi, je suis prêt à t'aidé si tu le souhaite, pour créer une API pour un scan auto depuis recalbox (comme actuellement mais en FR)... Je n'ai jamais fait ça, mais j'ai des connaissances en html/css/php/sql et je bosse sur un projet similaire pour gérer ma vidéothèque.
-
@Yohann Le Bellec Merci pour la proposition. Je suis loin de pouvoir faire un scan auto depuis la recalbox. Je me contente de faire ce que je sais faire
c'est a dire utiliser un petit langage de dev sous windows qui s'appel AUTOIT. Mais ça devrait déjà permettre de faire de beau XML Quand j'aurais quelque chose de suffisamment avancé, je publierais les sources sur le github Si ça peut te permettre de faire quelque chose directement sur la recalbox pourquoi pas. Je pourrais peut être t'aider ^^ (P.S. : tu es Breton ? Je suis sur la région de Rennes ) -
Un projet très intéressant en tout cas. Je l'ai pas mal suivi dernièrement, espérons que cela avance. Il est vrai qu'un scraping en Francais serait un réel plus pour recalbox. (bien que pas indispensable à mon sens )
-
De mon coté je complète la base de donnée, je suis actuellement sur la snes et je peut vous dire que j'en ai rempli une tartine (meme les jeux de majhong !) Pour ce systeme nous somme a plus de 75% de descriptions Française ! ça avance plutôt pas mal mais on a vraiment besoin d'aide pour étoffé la base de donnée. Il me tarde vraiment de voir ce que ça peu donner sur Recalbox !
-
J'ai commencé le boulot, j'ai récupéré tout les jeux disponibles pour les plateformes gérer par recalbox (presque 11 000 jeux...) depuis la base de données de thegamedb.net. Il Faut maintenant du monde pour traduire ou trouvé les infos en FR pour tout ça... Donc si il y a des volontaire, je ne suis pas contre ! Une fois tout traduit, il suffit de créer l'API à la même façon que je thegamedb.net et de paramétré ça dans recalbox (faut que je regarde comment ça se passe dans recalbox d'ailleurs). @Screech, Oui je suis breton, je suis sur le secteur de guingam ;).
-
@Yohann l'idée n'est pas de traduire "QUE" pour recalbox
mais d'alimenter screenscraper pour que tous le monde en profite facilement. De mon coté je me suis penché sur la game gear ^^ et du coup, ça commence à se remplir ^^ mais doucement, je fais ça tranquil depuis mon taf ^^ -
Je sais bien que ce n'est pas QUE pour recalbox, mais commencé par là fait déjà pas mal de boulot... Comme je l'ai dit, je suis déjà à plus de 10 000 jeux, une fois ça fait, on continuera pour les autres plateforme existante. Mais bon comme je l'ai dit, seul c'est presque impossible, je n'ai pas le temps pour tout faire.
-
Yohann je comprend pas vraiment t'as demarche.. on a une base de donnée prete a etre rempli et déja bien garnie et justement il nous manque du monde pour participer... Pourquoi ne pas faire les chose ensemble ?
-
Je veux bien participer, là je cherche à créer (en gros) une version FR de thegameDB, où les gens peuvent ajouté/édite le jeux présent. Avec ceci une API avec la quelle on pourrai couplé sur nos recalbox... J'ai un serveur teamspeak ou skype, on pourrai essayé de se réunir de savoir ce qu'on peu faire et comment ?
-
@Yohann En fait ce que tu veux faire, c'est... Screenscraper ^^ Es tu passé sur : http://www.screenscraper.fr/index.php ? Parce qu'il s'agit exactement de ça. Une grosse base de données, comme thegamedb, mais en français. Ou tous le monde peut participer pour alimenter la base de donnée en FR. Une API existe déjà sur ce site (il faut demander un ID de dev sur le forum et je travail actuellement sur un scraper pour créer des fichiers XML pour la recalbox avec le contenu de cette BDD en FR) Donc un conseil
ne réinvente pas l'eau chaude ce que tu cherches à faire existe déjà, il faut "juste" la compléter pour être le plus exhaustive possible -
Effectivement, je ne connaissais pas le site, moins de taff, je ne suis pas contre, je ne suis pas SM ^^.
-
OK je comprend mieux, je pensait que tu avait déjà fait un tour sur ScreenSraper ^^ Tout le monde est bienvenue pour compléter la base de donnée, n'hésitez pas a participer car nous avons besoin d'aide !
-
Tadaaaa !!!
Et voici la première version Alpha 0.0.0.2 ^^ <del datetime="2016-02-23T16:56:19+00:00">Universal_XML_Scraper (Alpha 0.0.0.2)</del> Donc :- Interface Multilangue - English / French
- Configuration pas trop compliqué pour les profils de base (juste des chemins à configurer)
- 3 profils fonctionnel (Screenscraper vers recalboxV3, vers recalboxV4, vers emulationstation)
- Possibilité limité pour le moment de création de profil
- scan du répertoire des roms avec substitution des chemins dans le fichier xml
- download des images avec substitution des chemins dans le fichier xml
- création du fichier xml final
To do à cours terme :
- possibilité de redimensionner les images
- ajouter thegamedb dans les bdds (pour les anglophones qui utilise la recalbox)
- ajouter d'autre système genre hyperspin
- refaire mon système d’édition de fichier xml avec du scrape "à l'unité" (rechercher un jeu par son nom par exemple lorsqu'il n'a pas été trouvé via son CRC/MD5/SHA1)
Petit Tuto pour créer un profil : Ajouter le nom du profil dans la partie [PROFILS_SCRAPER] exemple : $PROFILS_SCRAPER_4 = 'ScreenScraper-superfrontend' Créer une section du même nom exemple : [ScreenScraper-superfrontend] Dans cette section, on ajoute les images (si on veut ^^) dans une taille de 150x100 1 pour la source et 1 pour la cible exemple : $IMAGE_SOURCE= 'Screenscraper.jpg' $IMAGE_CIBLE = 'superfrontend.jpg' Ensuite, un élément par tag XML. On commence par le root avec le nom du root cible en premier, un pipe, le mot root, un pipe le nom du root source, un pipe et enfin le mot root exemple : $ELEMENT_1 = 'gameList|root|Data|root' on continue avec le child dans le même format avec le mot child à la place de root
exemple : $ELEMENT_2 = 'game|child|jeu|child' Et enfin on ajoute chaque élément avec des tags particuliers : value -> on reprend directement la valeur attr: -> on prend un attribut et on précise après le ":" de quelle élément est l’attribut (exemple : id|attr:game va créer un attribut id à l’élément game) variable -> pour le moment seul 2 variables sont prises en compte : la variable %RomPath% (qui va reprendre le chemin de la rom avec substitution) et une valeur sans % (qui écrira directement cette valeur. Pratique pour les valeurs fixes) path: -> Il s'agit d'un chemin pour un élément à télécharger, exemple, les images. (En indiquant path:image, le soft va downloader l'image dans le répertoire indiqué dans la config et va mettre le chemin avec substitution du fichier téléchargé) Detail important : dans le cas ou il y a plusieurs éléments dans la sources, seul le 1er est pris dans le cas ou vous voudriez pouvoir mettre plusieurs valeurs, vous pouvez doublez un élément, s'il n'y avait rien dans le 1er il essayera le 2eme. Exemple : $ELEMENT_9 = 'desc|value|synopsis/synopsis_fr|value' $ELEMENT_10 = 'desc|value|synopsis/synopsis_us|value' S'il n'y a pas de synopsis_fr à mettre dans le champs desc, il va prendre le synopsys_us à la place Exemple de profil : [code] [ScreenScraper-Recalbox v4] $IMAGE_SOURCE = 'Screenscraper.jpg' $IMAGE_CIBLE = 'RecalboxV4.jpg' $ELEMENT_1 = 'gameList|root|Data|root' $ELEMENT_2 = 'game|child|jeu|child' $ELEMENT_3 = 'id|attr:game|id|value' $ELEMENT_4 = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5 = 'path|value|%RomPath%|variable' $ELEMENT_6 = 'emulator|value' $ELEMENT_7 = 'core|value' $ELEMENT_8 = 'name|value|nom|value' $ELEMENT_9 = 'desc|value|synopsis/synopsis_fr|value' $ELEMENT_10 = 'desc|value|synopsis/synopsis_us|value' $ELEMENT_11 = 'image|value|medias/media_screenshot|path:image' $ELEMENT_12 = 'image|value|medias/media_box2d_fr|path:image' $ELEMENT_13 = 'image|value|medias/media_box2d_us|path:image' $ELEMENT_14 = 'thumbnail|value' $ELEMENT_15 = 'rating|value|note|value' $ELEMENT_16 = 'releasedate|value|dates/france|value' $ELEMENT_17 = 'releasedate|value|dates/europe|value' $ELEMENT_18 = 'releasedate|value|dates/usa|value' $ELEMENT_19 = 'releasedate|value|dates/japon|value' $ELEMENT_20 = 'developer|value|developpeur|value' $ELEMENT_21 = 'publisher|value|editeur|value' $ELEMENT_22 = 'genre|value|genres/genre|value' $ELEMENT_23 = 'players|value|joueurs|value' $ELEMENT_24 = 'favorite|value' $ELEMENT_25 = 'region|value' $ELEMENT_26 = 'romtype|value' $ELEMENT_27 = 'hidden|value' $ELEMENT_28 = 'playcount|value' $ELEMENT_29 = 'lastplayed|value' [/code] Voila je vous laisse faire des tests si vous voulez n'hesitez pas à revenir vers moi pour tous bug ou demande d'amélioration (sachant que je travail sur la to do list ^^)
