Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    Scraper Français

    Recalbox Général
    scraper français
    10
    42
    14963
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • andarkam
      andarkam last edited by

      Un projet très intéressant en tout cas. Je l'ai pas mal suivi dernièrement, espérons que cela avance. Il est vrai qu'un scraping en Francais serait un réel plus pour recalbox. (bien que pas indispensable à mon sens )

      En un mot : mot, en deux mots : mot-mot

      1 Reply Last reply Reply Quote 0
      • courte
        courte last edited by

        De mon coté je complète la base de donnée, je suis actuellement sur la snes et je peut vous dire que j'en ai rempli une tartine (meme les jeux de majhong !) Pour ce systeme nous somme a plus de 75% de descriptions Française ! ça avance plutôt pas mal mais on a vraiment besoin d'aide pour étoffé la base de donnée. Il me tarde vraiment de voir ce que ça peu donner sur Recalbox !

        1 Reply Last reply Reply Quote 0
        • djpostka
          djpostka last edited by

          J'ai commencé le boulot, j'ai récupéré tout les jeux disponibles pour les plateformes gérer par recalbox (presque 11 000 jeux...) depuis la base de données de thegamedb.net. Il Faut maintenant du monde pour traduire ou trouvé les infos en FR pour tout ça... Donc si il y a des volontaire, je ne suis pas contre ! Une fois tout traduit, il suffit de créer l'API à la même façon que je thegamedb.net et de paramétré ça dans recalbox (faut que je regarde comment ça se passe dans recalbox d'ailleurs). @Screech, Oui je suis breton, je suis sur le secteur de guingam ;).

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            @Yohann l'idée n'est pas de traduire "QUE" pour recalbox 😉 mais d'alimenter screenscraper pour que tous le monde en profite facilement. De mon coté je me suis penché sur la game gear ^^ et du coup, ça commence à se remplir ^^ mais doucement, je fais ça tranquil depuis mon taf ^^

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • djpostka
              djpostka last edited by

              Je sais bien que ce n'est pas QUE pour recalbox, mais commencé par là fait déjà pas mal de boulot... Comme je l'ai dit, je suis déjà à plus de 10 000 jeux, une fois ça fait, on continuera pour les autres plateforme existante. Mais bon comme je l'ai dit, seul c'est presque impossible, je n'ai pas le temps pour tout faire.

              1 Reply Last reply Reply Quote 0
              • courte
                courte last edited by

                Yohann je comprend pas vraiment t'as demarche.. on a une base de donnée prete a etre rempli et déja bien garnie et justement il nous manque du monde pour participer... Pourquoi ne pas faire les chose ensemble ?

                1 Reply Last reply Reply Quote 0
                • djpostka
                  djpostka last edited by

                  Je veux bien participer, là je cherche à créer (en gros) une version FR de thegameDB, où les gens peuvent ajouté/édite le jeux présent. Avec ceci une API avec la quelle on pourrai couplé sur nos recalbox... J'ai un serveur teamspeak ou skype, on pourrai essayé de se réunir de savoir ce qu'on peu faire et comment ?

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    @Yohann En fait ce que tu veux faire, c'est... Screenscraper ^^ Es tu passé sur : http://www.screenscraper.fr/index.php ? Parce qu'il s'agit exactement de ça. Une grosse base de données, comme thegamedb, mais en français. Ou tous le monde peut participer pour alimenter la base de donnée en FR. Une API existe déjà sur ce site (il faut demander un ID de dev sur le forum et je travail actuellement sur un scraper pour créer des fichiers XML pour la recalbox avec le contenu de cette BDD en FR) Donc un conseil 😉 ne réinvente pas l'eau chaude 😉 ce que tu cherches à faire existe déjà, il faut "juste" la compléter pour être le plus exhaustive possible 😉

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • djpostka
                      djpostka last edited by

                      Effectivement, je ne connaissais pas le site, moins de taff, je ne suis pas contre, je ne suis pas SM ^^.

                      1 Reply Last reply Reply Quote 0
                      • courte
                        courte last edited by

                        OK je comprend mieux, je pensait que tu avait déjà fait un tour sur ScreenSraper ^^ Tout le monde est bienvenue pour compléter la base de donnée, n'hésitez pas a participer car nous avons besoin d'aide !

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          Tadaaaa !!! Et voici la première version Alpha 0.0.0.2 ^^ <del datetime="2016-02-23T16:56:19+00:00">Universal_XML_Scraper (Alpha 0.0.0.2)</del> Donc :

                          • Interface Multilangue - English / French
                          • Configuration pas trop compliqué pour les profils de base (juste des chemins à configurer)
                          • 3 profils fonctionnel (Screenscraper vers recalboxV3, vers recalboxV4, vers emulationstation)
                          • Possibilité limité pour le moment de création de profil
                          • scan du répertoire des roms avec substitution des chemins dans le fichier xml
                          • download des images avec substitution des chemins dans le fichier xml
                          • création du fichier xml final

                          To do à cours terme :

                          • possibilité de redimensionner les images
                          • ajouter thegamedb dans les bdds (pour les anglophones qui utilise la recalbox)
                          • ajouter d'autre système genre hyperspin
                          • refaire mon système d’édition de fichier xml avec du scrape "à l'unité" (rechercher un jeu par son nom par exemple lorsqu'il n'a pas été trouvé via son CRC/MD5/SHA1)

                          Petit Tuto pour créer un profil : Ajouter le nom du profil dans la partie [PROFILS_SCRAPER] exemple : $PROFILS_SCRAPER_4 = 'ScreenScraper-superfrontend' Créer une section du même nom exemple : [ScreenScraper-superfrontend] Dans cette section, on ajoute les images (si on veut ^^) dans une taille de 150x100 1 pour la source et 1 pour la cible exemple : $IMAGE_SOURCE= 'Screenscraper.jpg' $IMAGE_CIBLE = 'superfrontend.jpg' Ensuite, un élément par tag XML. On commence par le root avec le nom du root cible en premier, un pipe, le mot root, un pipe le nom du root source, un pipe et enfin le mot root exemple : $ELEMENT_1 = 'gameList|root|Data|root' on continue avec le child dans le même format avec le mot child à la place de root 😉 exemple : $ELEMENT_2 = 'game|child|jeu|child' Et enfin on ajoute chaque élément avec des tags particuliers : value -> on reprend directement la valeur attr: -> on prend un attribut et on précise après le ":" de quelle élément est l’attribut (exemple : id|attr:game va créer un attribut id à l’élément game) variable -> pour le moment seul 2 variables sont prises en compte : la variable %RomPath% (qui va reprendre le chemin de la rom avec substitution) et une valeur sans % (qui écrira directement cette valeur. Pratique pour les valeurs fixes) path: -> Il s'agit d'un chemin pour un élément à télécharger, exemple, les images. (En indiquant path:image, le soft va downloader l'image dans le répertoire indiqué dans la config et va mettre le chemin avec substitution du fichier téléchargé) Detail important : dans le cas ou il y a plusieurs éléments dans la sources, seul le 1er est pris dans le cas ou vous voudriez pouvoir mettre plusieurs valeurs, vous pouvez doublez un élément, s'il n'y avait rien dans le 1er il essayera le 2eme. Exemple : $ELEMENT_9 = 'desc|value|synopsis/synopsis_fr|value' $ELEMENT_10 = 'desc|value|synopsis/synopsis_us|value' S'il n'y a pas de synopsis_fr à mettre dans le champs desc, il va prendre le synopsys_us à la place Exemple de profil : [code] [ScreenScraper-Recalbox v4] $IMAGE_SOURCE = 'Screenscraper.jpg' $IMAGE_CIBLE = 'RecalboxV4.jpg' $ELEMENT_1 = 'gameList|root|Data|root' $ELEMENT_2 = 'game|child|jeu|child' $ELEMENT_3 = 'id|attr:game|id|value' $ELEMENT_4 = 'source|attr:game|ScreenScraper|variable' $ELEMENT_5 = 'path|value|%RomPath%|variable' $ELEMENT_6 = 'emulator|value' $ELEMENT_7 = 'core|value' $ELEMENT_8 = 'name|value|nom|value' $ELEMENT_9 = 'desc|value|synopsis/synopsis_fr|value' $ELEMENT_10 = 'desc|value|synopsis/synopsis_us|value' $ELEMENT_11 = 'image|value|medias/media_screenshot|path:image' $ELEMENT_12 = 'image|value|medias/media_box2d_fr|path:image' $ELEMENT_13 = 'image|value|medias/media_box2d_us|path:image' $ELEMENT_14 = 'thumbnail|value' $ELEMENT_15 = 'rating|value|note|value' $ELEMENT_16 = 'releasedate|value|dates/france|value' $ELEMENT_17 = 'releasedate|value|dates/europe|value' $ELEMENT_18 = 'releasedate|value|dates/usa|value' $ELEMENT_19 = 'releasedate|value|dates/japon|value' $ELEMENT_20 = 'developer|value|developpeur|value' $ELEMENT_21 = 'publisher|value|editeur|value' $ELEMENT_22 = 'genre|value|genres/genre|value' $ELEMENT_23 = 'players|value|joueurs|value' $ELEMENT_24 = 'favorite|value' $ELEMENT_25 = 'region|value' $ELEMENT_26 = 'romtype|value' $ELEMENT_27 = 'hidden|value' $ELEMENT_28 = 'playcount|value' $ELEMENT_29 = 'lastplayed|value' [/code] Voila 😉 je vous laisse faire des tests si vous voulez 😉 n'hesitez pas à revenir vers moi pour tous bug ou demande d'amélioration (sachant que je travail sur la to do list ^^)

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • luckiest
                            luckiest last edited by

                            Salut, Une petite question, cette application, traduirait les gamelist en francais ? Je vais essayer de suite ^^ Luckiest

                            RPi3 recalboxOS v4.0.0 final - Manettes Super Nes USB ou PS3 Shanwan

                            1 Reply Last reply Reply Quote 0
                            • screech
                              screech last edited by

                              Hello, elle ne traduit pas réellement les gamelist en FR. Elle scrape vos roms avec les infos provenant de la Bdd ScreenScraper qui est en FR (encore en cours d’alimentation, n’hésitez d’ailleurs pas à y participer 😉 ) Donc en gros, elle scan le rep des Roms et génère un fichier gamelist.xml avec les descriptions en FR (pour celle existante, sinon c'est en anglais 😉 si elle ne trouve pas de Desc en FR) et télécharge un screenshot lié à la Rom (si tu as bien configuré les chemins et chemins de substitution 😉 ).

                              Clean your Romset with Universal ROM Cleaner
                              Scrape your Romset with Universal XML Scraper

                              1 Reply Last reply Reply Quote 0
                              • rockaddicted
                                rockaddicted last edited by

                                Bien joué @Screech, beau boulot! Je vais tester ça sous une VM quand j'aurais un peu de temps. J'ai une question à te demander, actuellement si j'ai bien suivi, le scraper télécharge un screenshot du jeu. Serait il possible d'avoir le choix entre un screenshot et une cover du jeu ?

                                Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                                Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                                Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                                Don't forget to upvote messages if it has been useful ;)

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  Oui c'est tout à fait possible, il suffit d'editer le fichier config.ini pour modifier les profils. Pour ce que tu veux, dans le profil [screenscraper-recalbox V4] Tu peux modifier les lignes suivantes : $ELEMENT_11 = 'image|value|medias/media_screenshot|path:image' $ELEMENT_12 = 'image|value|medias/media_box2d_fr|path:image' $ELEMENT_13 = 'image|value|medias/media_box2d_us|path:image' La ces lignes veulent dire : download l'image medias/media_screenshot si pas présente download l'image medias/media_box2d_fr si pas présente download l'image medias/media_box2d_us Si tu veux la liste complete des images downloadable, tu peux aller ici : http://www.screenscraper.fr/webapi.php?alpha=0&numpage=0 et regarder la section jeuInfos.php

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    <del datetime="2016-02-23T16:56:44+00:00">Version 0.0.0.4</del> Correction sur les chemin de substitution qui collait systématiquement un \ et linux aime pas ça 😉 donc attention à bien utiliser des / pour indiquer ou se trouve vos roms et vos images. Sinon je viens de faire mes premier tests directement sur la recalbox 😉 Verdict : CA MARCHE !!! ^^ Un petit conseil pour la recalbox : créez un répertoire "images" directement dans le répertoires ou se trouve vos roms pour y télécharger vos images. Stockez aussi votre fichier gamelist.xml directement dans le répertoire de vos roms. Du coup dans les paths vous pouvez mettre (par exemple pour la nes sur une V4) : $PathRom =\RECALBOX\User data\roms\nes\ $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\images\ $PathImageSub =./images/ Pensez bien à quitter emulationstation avant de faire le scrape et faire un reboot après 😉

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • luckiest
                                      luckiest last edited by

                                      Bonjour Screech et tous ^^ Bon donc après plusieurs tentatives, il recupere bien la liste, calcul les HASH, aucun message d'erreur, génére un nouveau fichier gamelist en renommant l'ancien en old mais le nouveau est vide ... <?xml version="1.0" encoding="UTF-8"?> <gameList/> Mes gamelist et images sont dans le répertoire roms et sur un clé USB. Ma config : $PathRom =G:\recalbox\roms\fba\ $PathRomSub =.\ $PathNew =G:\recalbox\roms\fba\gamelist.xml $PathImage =G:\recalbox\roms\fba\downloaded_images\ $PathImageSub =.\downloaded_images\ $No_Profil =1 $user_lang =040c Mauvaise config ?

                                      RPi3 recalboxOS v4.0.0 final - Manettes Super Nes USB ou PS3 Shanwan

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        Alors, tous d'abord 😉 voici une petite version mise à jour : <del datetime="2016-02-29T12:00:55+00:00">Version 0.0.0.5</del> Ce qu'elle fait : - Mise ne majuscule pour les descriptions dans Recalbox (recalbox mets automatiquement en MAJ les desc, mais pas les accents. Du coups avec cette options, les lettres sont en MAJ avec Accents 😉 ) - Ajout de variable pour afficher les crc32, md5 et sha1 des roms scrappé dans le XML - Ajout d'une petite sécurité 😉 Pour ton problème, j'ai juste une petite question : tes roms sont elles zippées ? Si oui, il faudrait que tu refasse un scrape avec cette version et que tu me donne quelques noms de roms et le crc32 qui va avec (histoire de voir si la rom existe bien dans screenscraper) Si non, pour le moment, screenscraper ne contient que des roms zippées (ou 7zippées ^^) Du coup, pour la nintendo64 par exemple, il ne trouvera pas de rom en fichier .n64 Je vais bientôt améliorer mon soft pour que les infos des roms soient correctement renvoyé à screenscraper pour améliorer la BDD avec les crc des roms dézippées. Du coup, ScreenScraper pourras aussi fournir les info sur des roms "brutes" 😉 tiens moi au courant 😉

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • luckiest
                                          luckiest last edited by

                                          Bonjour ce jour, Je suis de plus en plus admiratif du travail que vous avez fourni avec la nouvelle version, il n'y a vraiment plus grand chose à faire en paramétrage. Screen je viens de tester ton apli et avec la version 0.0.0.5 ça marche Nickel. En revanche, il refait le gamelist.xml uniquement avec les correspondance trouvé, c'est dommage qu'il ne reprenne pas les autres même si pas de correspondance. Je viens de tester sur mes roms fba car apparemment cela ne fonctionne que sur des roms zippé, hors sous Recalbox seul les arcades sont zippé je me trompe? Alors, sur 189 il en a traduit 59 par contre, il a supprimé les autres ... dommage. Est-ce volontaire ou ce n'est pas possible de ne pas toucher aux autres ? Voili, voilou Luckiest

                                          RPi3 recalboxOS v4.0.0 final - Manettes Super Nes USB ou PS3 Shanwan

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by

                                            Oui, attention, je suis encore en version Alpha de chez Alpha 😉 Pour le moment il recréer l’intégralité du fichier. Mais je rajouterais bientôt des fonctions d'ajout pour ajouter à un existant, ou pour mettre à jour un existant (du genre, juste les descriptions en FR 😉 ) Pour les zip, c'est aujourd'hui une limitation de screenscraper. La recherche se fait sur un calcul de crc du fichier de Rom. Et ne sont référencé que les crc des fichiers zippés. Mais je prépare une moulinette pour envoyer les fichiers dézipés dans la BDD pour que le scrape retrouve aussi des roms brutes. Sinon, pour info, toutes mes roms sont zipées dans recalbox à l’exception des rom N64 (ou ce n'est pas conseillé) et tous marche très bien (tout en économisant pas mal de place ^^) De la même manière, toutes les roms/jeux ne sont pas encore implémenté dans Screenscraper, il peut donc y avoir des manques. C'est aussi pour ça que je prévois d'ajouter thegamedb au scraper pour pouvoir compléter plus facilement les trous ^^ En tout cas, merci pour ton retour. l'aventure continue 😉

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            71
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com