Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    480384
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • yassa57
      yassa57 last edited by

      Salut geeknroll dis moi tu as dans le dossier images Tu les a en boitier de jeu ou en screenshoot ?

      1 Reply Last reply Reply Quote 0
      • geeknroll
        geeknroll last edited by

        Salut TIT. Screenshots chez moi. Après c'est une question de préférences, pour ma part je trouve mieux de voir à quoi ressemble le jeu, et éventuellement le reconnaître, plutôt qu'une jaquette qui ne me dit rien. Mais apparemment si tu modifie le fichier de config de universalXMLscraper tu as moyen de récupérer les jaquettes. Où alors si tu n'aimes pas bidouiller tu patientes un peu... Screech va peut être rajouter une option dans une version future qui permettrais de choisir l'image a afficher.

        1 Reply Last reply Reply Quote 0
        • yassa57
          yassa57 last edited by

          Oui j ai parler avec lui il ma vraiment bien aider un grand merci a lui

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by screech

            Hello, Alors, voila une nouvelle version 😉
            BETA 1.0.0.1 (Lien non disponible merci de checker le github 😉 )

            Les modif :

            • Ne re-telecharge pas les images si elles existent
            • Correction des profils pour les boîtiers
            • Ajout d'un menu SSH pour kill emulationstation / Reboot / et Stop.

            J'en ai profité pour refaire des petits tests. (Je sais pas d'ou j'ai sortie mes 1 minutes de scrape lol faut que j’arrête la moquette ^^) Avec le dl des images :

            J'ai refait un test avec les images déjà présentes... Il ne les retelecharge pas, mais je n'ai pas constaté de gain de temps (bon au pire, cela économisera la bande passante et le serveur 😉 )

            Je n'ai pas encore ajouté les traces, mais ça vient 😉

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • screech
              screech last edited by screech

              Ah oui, pour changer les images...

              Pour des boîtiers en 2D, il suffit d'éditer le fichier config.ini et de changer les lignes suivantes :
              $ELEMENT_11 = 'image|value|medias/media_screenshot|path:image'
              $ELEMENT_12 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
              $ELEMENT_13 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
              $ELEMENT_14 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
              $ELEMENT_15 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
              En :
              $ELEMENT_11 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image'
              $ELEMENT_12 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image'
              $ELEMENT_13 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_us|path:image'
              $ELEMENT_14 = 'image|value|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image'
              $ELEMENT_15 = 'image|value|medias/media_screenshot|path:image'

              Du coup ça téléchargera en priorité les boîtiers FR, puis EU, puis US, puis JP et si vraiment aucun boitier un screenshot 😉

              BONUX :  Si vous voulez les boîtiers en 3D, remplacez simplement 2d par 3d dans les chemins 😉

              Clean your Romset with Universal ROM Cleaner
              Scrape your Romset with Universal XML Scraper

              1 Reply Last reply Reply Quote 0
              • yassa57
                yassa57 last edited by

                Dans le nouveau logiciel avant on devait ecrire pour le gamelist images /images Maintenant dans le soft c est /downloaded-images/ Pour le.chemin des images a telecharger on doit creer un dossier images ou downloaded-image

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by screech

                  Officiellement, la recalbox V4 stock les images dans un rep nommé /downloaded-images/
                  (Si vous utilisé par exemple le scraper intégré dans la recalbox)
                  Officieusement, vous mettez ça ou vous voulez tant que le fichier gamelist.xml indique le bon chemin 😉

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • yassa57
                    yassa57 last edited by

                    Petit probleme.au niveau de la gamelist tout se passe bien j ai les images toute ma gamelist est ok est pourtant quand je veux juste l.ouvrir avec esxml il me marque un message d erreur est donc quand je le.met dans la recalbox rien ne fonctionne j ai que la liste des jeux

                    1 Reply Last reply Reply Quote 0
                    • yassa57
                      yassa57 last edited by

                      Alors que quand je scrappe avec esxml ou la methode scrapper depuis le pc les gamelist passent dans esxml quelqu un a t il eu ce probleme

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by screech

                        oui c'est un défaut de esxml :S si les différents éléments du fichier xml ne sont pas dans le bon ordre, esxml plante :S

                        C'est du au fait que je n'exploitait pas correctement le format xml dans esxml... et que dans le nouveau scraper j'utilise un vrai module pour cela 😉 des corrections sont à l'étude (et surtout une refonte de esxml sur la base du scraper 😉 )

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • yassa57
                          yassa57 last edited by

                          1. Quand je compare les deux gamelist celle de xml n est pas ordonner tout es sur la.meme ligne au niveau des 3 premieres lignes il manque aussi ca > a la fin de game
                          2. Par contre avec esxml ou celui de base scrapper via son pc les.gamelist sont ordonnees vont bien a la ligne
                          3. D ou cela peut il venir ?
                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by screech

                            Tu pourrais m'envoyer ton fichier xml qui déconne que je regarde le résultat ?
                            Parce que tous ceux que j'ai généré sont correct.
                            (Attention, il est possible que si le scrape est stoppé en cours de génération, le dernier jeu ne soit pas complet et/ou correct.)

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            stamstamstam 1 Reply Last reply Reply Quote 0
                            • kvtt
                              kvtt last edited by

                              Pour en revenir à mon problème de lenteur de scrap j'ai fini par l'annuler. Mes roms et donc les scraps sont sur clé usb. J'ai donc vérifier la clé usb sur mon pc et me suis aperçu qu'il y avait des erreurs sur la clé (répertoire illisible). J'ai bien essayé de réparer la clé avec fsck (sous Linux) mais en vain.... Bref j'ai changé de clé USB. Donc les lenteurs devait venir de la je pense. je vais tester la nouvelle version demain.

                              1 Reply Last reply Reply Quote 0
                              • yassa57
                                yassa57 last edited by

                                screech voila le debut de mon gamelist il apparait tel quel tout aligner comme ca <?xml version="1.0" encoding="UTF-8"?><gameList> <game source="ScreenScraper"> <path>./86</path> <crc32/> <md5/> <sha1/> </game> <game source="ScreenScraper"> <path>./a.p.b. - all points bulletin (usa, europe).zip</path> <crc32>4E5B2FFB</crc32> <md5>CE4CF97F08204A78771E2F80949837ED</md5> <sha1>F5405A32126CA3664BFDB09A022B45713B9875A4</sha1> </game> <game source="ScreenScraper"> <path>./alien vs predator (usa) (proto).zip</path> <crc32>92B517E5</crc32> <md5>2F8D0874E478891D32649552FE5B5F8D</md5> <sha1>43C3596F69D21A3C8247110C557B5C396D38616B</sha1> </game> <game source="ScreenScraper"> <path>./awesome golf (usa, europe).zip</path> <crc32>24E45DE5</crc32> <md5>107C23E8A68A8BD987C04DC0D9C81971</md5> <sha1>F496670EB97F42F18B404F98B64A92DA5526947E</sha1> </game> <game source="ScreenScraper"> <path>./baseball heroes (usa, europe).zip</path> <crc32>1EC202B2</crc32> <md5>33E442B8B7798B73118DBAAD760AE9F3</md5> <sha1>527DD2641B54F03A926575C2E29E6E4C7AC8103B</sha1> </game>

                                1 Reply Last reply Reply Quote 0
                                • yassa57
                                  yassa57 last edited by

                                  Ce sera peut etre plus visible la.

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by screech

                                    A priori, c'est le premier fichier qui pose problème :S
                                    Tu aurais sont nom complet ?
                                    à priori, il s'appel : "86 a.p.b. – all points bulletin (usa, europe).zip" et il doit y avoir quelque chose entre le "86" et le "a" non ?
                                    En tout cas c'est bizarre, le scraper ne référence normalement que les fichier qui contiennent un Z dans l'extension (genre zip ou 7z)
                                    Donc, ou il y a un symbole étrange qui découpe le nom du fichier en 2 ou le fichier 86 je sais pas quoi à une extension caché ?

                                    Sinon, hormis qu'aucun Hash n'est retrouvé sur screenscraper (et donc aucune info de récupéré) tous me semble normal.

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • yassa57
                                      yassa57 last edited by

                                      Je vais essayer de supprimer ce zip et de le relancer voir si c est.mizuw pourtant ce sont des fichiers no.intro.

                                      1 Reply Last reply Reply Quote 0
                                      • kvtt
                                        kvtt last edited by

                                        Salut,

                                        J'ai un problème avec la mise en place du gamelist.xml sur la recallbox. Je scrap les roms en local pour generer le xml et les images, ca marche bien, ensuite je copie-colle les images et le xml vers la recallbox (version 4). mais si je relance la recallbox (/etc/init.d/S31emulationstation restart), mon gamelist est regénéré et celui de Universal XML Scraper est écrasé. J'ai loupé quelque chose dans la procèdure de mise en place ? Par avance merci.

                                        je me reponds : bien penser à killer emulationstation avant de copier-coller le fichier XML vers la recallbox, mais aussi attention si création d'un fichier vierge gamelist.xml sous windows car l'encodage du fichier semble poser des problèmes, j'ai du le réouvrir sous linux et l'enregistrer au format UNIX/Linux. En resumé je pense qu'il vaut mieux scraper directement sur le recalbox pour eviter ces problèmes d'encodage.

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by screech

                                          Concernant le "Kill" d'emulationstation, vous pouvez le faire directement depuis le scraper 😉
                                          (j'ai ajouté un menu SSH)
                                          Si vous avez changé vos identifiants, il faut les configurer dans le fichier config.ini (pour le moment)
                                          Mais par défaut ce sont ceux par défaut de la recalbox 😉
                                          Pour l'encodage, c'est sensé etre de l'UTF 8 mais j'ai effectivement constaté des problèmes dans certain cas (notamment au niveau des retours à la ligne qui sont des CRLF au lieu de LF tous court).
                                          Mais à priori rien de bloquant... (en tout cas, la recalbox ne ma pas posé de problème pour traiter le xml généré)
                                          Pour la génération des xml, j'utilise le XDOM de windows, qui est sensé faire quelque chose de valide... sous windows... Welcome in the Micro$oft world :S

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          1 Reply Last reply Reply Quote 0
                                          • yassa57
                                            yassa57 last edited by

                                            1. Screech tu pense pas que c est du a windows 8 c est bizarre la j ai essayer de scrapper juste deux jeux et c est toujours pareil
                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            67
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com