• Recent
  • Tags
  • recalbox.com
  • Gitlab repository
  • Documentation
  • Discord
  • Register
  • Login

Recalbox Forum

  • Register
  • Login
  • Search
  • Recent
  • Tags
  • recalbox.com
  • Gitlab repository
  • Documentation
  • Discord

[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

Community projects
[soft] universal xml scraper scrappez
73
656
428.3k
Loading More Posts
  • Oldest to Newest
  • Newest to Oldest
  • Most Votes
Reply
  • Reply as topic
Log in to reply
This topic has been deleted. Only users with topic management privileges can see it.
  • kvtt
    kvtt last edited by 8 Mar 2016, 20:44

    Pour en revenir à mon problème de lenteur de scrap j'ai fini par l'annuler. Mes roms et donc les scraps sont sur clé usb. J'ai donc vérifier la clé usb sur mon pc et me suis aperçu qu'il y avait des erreurs sur la clé (répertoire illisible). J'ai bien essayé de réparer la clé avec fsck (sous Linux) mais en vain.... Bref j'ai changé de clé USB. Donc les lenteurs devait venir de la je pense. je vais tester la nouvelle version demain.

    1 Reply Last reply Reply Quote 0
    • yassa57
      yassa57 last edited by 8 Mar 2016, 21:03

      screech voila le debut de mon gamelist il apparait tel quel tout aligner comme ca <?xml version="1.0" encoding="UTF-8"?><gameList> <game source="ScreenScraper"> <path>./86</path> <crc32/> <md5/> <sha1/> </game> <game source="ScreenScraper"> <path>./a.p.b. - all points bulletin (usa, europe).zip</path> <crc32>4E5B2FFB</crc32> <md5>CE4CF97F08204A78771E2F80949837ED</md5> <sha1>F5405A32126CA3664BFDB09A022B45713B9875A4</sha1> </game> <game source="ScreenScraper"> <path>./alien vs predator (usa) (proto).zip</path> <crc32>92B517E5</crc32> <md5>2F8D0874E478891D32649552FE5B5F8D</md5> <sha1>43C3596F69D21A3C8247110C557B5C396D38616B</sha1> </game> <game source="ScreenScraper"> <path>./awesome golf (usa, europe).zip</path> <crc32>24E45DE5</crc32> <md5>107C23E8A68A8BD987C04DC0D9C81971</md5> <sha1>F496670EB97F42F18B404F98B64A92DA5526947E</sha1> </game> <game source="ScreenScraper"> <path>./baseball heroes (usa, europe).zip</path> <crc32>1EC202B2</crc32> <md5>33E442B8B7798B73118DBAAD760AE9F3</md5> <sha1>527DD2641B54F03A926575C2E29E6E4C7AC8103B</sha1> </game>

      1 Reply Last reply Reply Quote 0
      • yassa57
        yassa57 last edited by 8 Mar 2016, 21:13

        Ce sera peut etre plus visible la.

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by screech 21 Jul 2016, 12:13 9 Mar 2016, 08:57

          A priori, c'est le premier fichier qui pose problème :S
          Tu aurais sont nom complet ?
          à priori, il s'appel : "86 a.p.b. – all points bulletin (usa, europe).zip" et il doit y avoir quelque chose entre le "86" et le "a" non ?
          En tout cas c'est bizarre, le scraper ne référence normalement que les fichier qui contiennent un Z dans l'extension (genre zip ou 7z)
          Donc, ou il y a un symbole étrange qui découpe le nom du fichier en 2 ou le fichier 86 je sais pas quoi à une extension caché ?

          Sinon, hormis qu'aucun Hash n'est retrouvé sur screenscraper (et donc aucune info de récupéré) tous me semble normal.

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • yassa57
            yassa57 last edited by 9 Mar 2016, 09:31

            Je vais essayer de supprimer ce zip et de le relancer voir si c est.mizuw pourtant ce sont des fichiers no.intro.

            1 Reply Last reply Reply Quote 0
            • kvtt
              kvtt last edited by 9 Mar 2016, 11:43

              Salut,

              J'ai un problème avec la mise en place du gamelist.xml sur la recallbox. Je scrap les roms en local pour generer le xml et les images, ca marche bien, ensuite je copie-colle les images et le xml vers la recallbox (version 4). mais si je relance la recallbox (/etc/init.d/S31emulationstation restart), mon gamelist est regénéré et celui de Universal XML Scraper est écrasé. J'ai loupé quelque chose dans la procèdure de mise en place ? Par avance merci.

              je me reponds : bien penser à killer emulationstation avant de copier-coller le fichier XML vers la recallbox, mais aussi attention si création d'un fichier vierge gamelist.xml sous windows car l'encodage du fichier semble poser des problèmes, j'ai du le réouvrir sous linux et l'enregistrer au format UNIX/Linux. En resumé je pense qu'il vaut mieux scraper directement sur le recalbox pour eviter ces problèmes d'encodage.

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by screech 21 Jul 2016, 12:13 9 Mar 2016, 12:25

                Concernant le "Kill" d'emulationstation, vous pouvez le faire directement depuis le scraper 😉
                (j'ai ajouté un menu SSH)
                Si vous avez changé vos identifiants, il faut les configurer dans le fichier config.ini (pour le moment)
                Mais par défaut ce sont ceux par défaut de la recalbox 😉
                Pour l'encodage, c'est sensé etre de l'UTF 8 mais j'ai effectivement constaté des problèmes dans certain cas (notamment au niveau des retours à la ligne qui sont des CRLF au lieu de LF tous court).
                Mais à priori rien de bloquant... (en tout cas, la recalbox ne ma pas posé de problème pour traiter le xml généré)
                Pour la génération des xml, j'utilise le XDOM de windows, qui est sensé faire quelque chose de valide... sous windows... Welcome in the Micro$oft world :S

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • yassa57
                  yassa57 last edited by 9 Mar 2016, 16:06

                  1. Screech tu pense pas que c est du a windows 8 c est bizarre la j ai essayer de scrapper juste deux jeux et c est toujours pareil
                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by screech 21 Jul 2016, 12:14 9 Mar 2016, 16:21

                    C'est bon, j'ai trouvé !! c'est ma faute :S un tri malheureux qui mettait des trucs ou il faut pas... Du coup [Universal XML Scraper BETA 1.0.0.2](Lien Retiré, merci de checker Github)

                    Les modifs :

                    • Correction du tri qui faisait que la première Rom n’était pas bonne.
                    • Ajout de trace (vous aurez un fichier log avec plein de truc dedans, notamment des temps...)
                    • Correction des fins de ligne du fichier généré. Maintenant c'est bien des LF plutôt que des CRLF (Ce qui signifie que les fichiers générés devrait de nouveau être compatible avec Esxml, et que vous pouvez les générer sur un PC pour les coller sur un linux après sans problème 😉 )

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • yassa57
                      yassa57 last edited by 9 Mar 2016, 17:49

                      youhouuuuuuuu screech tu es le meilleur ca fonctionne et un hip hip hip hourra lol merci beaucoup desole de t avoir saoulé comme ca mais c est bon descriptif en francais cool bon il me manque les photos mais je vais bosser dessus au pire je passerais par esxml ou meme par la recalbox "synchronisation des montres" screech

                      1 Reply Last reply Reply Quote 0
                      • yassa57
                        yassa57 last edited by 9 Mar 2016, 18:04

                        et c'est bon pour les images alors la bravo screech j ai le moral apres tant de galere enfin surtout pour toi avec tout les mp que je t ai envoyé et dis toi que si ca fonctionne pour moi ca fonctionne pour tout le monde mdr :))))))))))))

                        1 Reply Last reply Reply Quote 0
                        • kvtt
                          kvtt last edited by 10 Mar 2016, 10:53

                          Salut, Petite question : j'ai modifié le config.ini pour scraper en priorité les boitiers 3d (que j'aime beaucoup), et si manquant le screenshot du jeu. J'ai un romset NES no-intro. Pour l'exemple : Pac-Man (USA) (Tengen).zip (MD5 : 2ab3da703f429cc2f3d6ba48499ef300) me retourne un screenshot alors que je le boitier 3d existe sur screenscraper ( http://screenscraper.fr/gameinfos.php?gameid=1327 ). et c'est le cas pour beaucoup d'autres jeux NES. Pourquoi, Why ? PS : Screech tu as le droit de me détester pour ce genre de question à la con 😉 Mon config.ini :

                          $ELEMENT_11     = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_fr|path:image' $ELEMENT_12     = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_eu|path:image' $ELEMENT_13     = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_us|path:image' $ELEMENT_14     = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_jp|path:image' $ELEMENT_15     = 'image|value|medias/media_screenshot|path:image'

                          1 Reply Last reply Reply Quote 0
                          • yassa57
                            yassa57 last edited by 10 Mar 2016, 11:29

                            1. Salut j ai le meme probleme que toi peut importe ce que tu rentre 2d 3d fr us ca prend toujours en compte la ligne screenshot j ai essaye plein de truc ca change rien alors je me suis dit tant pis on fera tout en screenshoot
                            1 Reply Last reply Reply Quote 0
                            • kvtt
                              kvtt last edited by 10 Mar 2016, 11:40

                              tu as le même problême pour la NES uniquement ou aussi pour d'autres systèmes ? de mon côté ca a plutôt bien marché pour : la mastersystem - la megadrive et la super nintendo.

                              1 Reply Last reply Reply Quote 0
                              • yassa57
                                yassa57 last edited by 10 Mar 2016, 11:58

                                Ah non moi je l ai pour tous apres j ai pas reesayer avec les nouvelles.lignes je vais essayer de rentrer ce que tu as ecrit je vais voir

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by screech 21 Jul 2016, 12:14 10 Mar 2016, 16:15

                                  @David je viens de refaire des tests, ça fonctionne (Nes y compris).
                                  Vérifie les éléments suivant :

                                  • Si tu fait une modif dans le fichier config, pense bien a redémarrer le soft.
                                  • Tu choisis bien le profil que tu as modifié ?

                                  Au pire, envois moi ton fichier config, je ferais la modif et te le renverrais 😉

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  1 Reply Last reply Reply Quote 0
                                  • luckiest
                                    luckiest last edited by 10 Mar 2016, 16:58

                                    Plop alors j'ai testé les boite 3D et pareille, ça me met les Screen ... Par contre si je met ceci : $ELEMENT_11 = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_fr|path:image' $ELEMENT_12 = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_eu|path:image' $ELEMENT_13 = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_us|path:image' $ELEMENT_14 = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_jp|path:image' $ELEMENT_15 = 'image|value|medias/media_boxs/media_boxs3d/media_box3d_fr|path:image' Ça marche mais certaines images ne se téléchargent pas complétement, jamais eu ce problème sur les 2D.

                                    RPi3 recalboxOS v4.0.0 final - Manettes Super Nes USB ou PS3 Shanwan

                                    1 Reply Last reply Reply Quote 0
                                    • yassa57
                                      yassa57 last edited by 10 Mar 2016, 17:13

                                      Chez moi ça fonctionne je viens de tester

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by screech 21 Jul 2016, 12:15 10 Mar 2016, 17:23

                                        @Luckiest tu as bien téléchargé la dernière version ?
                                        Parce que j'ai eu une version qui faisait ça.
                                        En fait au moment de télécharger une nouvelle image, le soft vérifie si elle existe déjà.
                                        Si c'est le cas il ne la retelecharge pas (en gros si tu as un box3D_fr, il ne téléchargera pas par dessus une box3D_eu, etc...)

                                        En fait, sur une ancienne version, (la 1.0.0.1 il me semble) si l'image n’était pas finit de téléchargé, il considérait que le fichier n'existait pas et retelecharger la nouvelle (du coup avec le screenshot en dernier, il téléchargeait plusieurs box pour finir par les écraser par le screenshot :S)
                                        Du coup, maintenant je créer un fichier à blanc avant de lancer le dl... et çà sa marche sur la 1.0.0.2 😉

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • luckiest
                                          luckiest last edited by 10 Mar 2016, 17:49

                                          Euh ... oui, tu va plus vite que mes tests lol ^^ Je testerai la 1.0.0.2 ce soir, désolé !!!

                                          RPi3 recalboxOS v4.0.0 final - Manettes Super Nes USB ou PS3 Shanwan

                                          1 Reply Last reply Reply Quote 0
                                          42 out of 656
                                          • First post
                                            42/656
                                            Last post

                                          Want to support us ?

                                          63
                                          Online

                                          98.8k
                                          Users

                                          28.1k
                                          Topics

                                          187.1k
                                          Posts

                                          Copyright © 2021 recalbox.com