Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    Solved Recalbox Manager incompatible avec Universal XML Scraper ?

    Recalbox Général
    recalbox manager incompatible universal xml
    7
    19
    5415
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • mightor
      mightor last edited by

      Bonjour à tous,
      Derrière ce titre étrange, où on a du mal à voir quel lien il peut y avoir entre Recalbox Manager et Universal XML Scraper (UXS), se cache une observation que j'ai faite hier: dès lors qu'un dossier de roms a été scrapé par UXS, Recalbox Manager n'est plus capable d'en afficher le contenu. Du côté de Emulation Station sur la TV, RAS, le scrap est parfaitement affiché dans les menus.
      Comment reproduire et observer ce problème:

      • Dans Recalbox Manager, affichez le contenu d'un dossier de roms, par exemple http://recalbox/roms/gba et vérifiez que vos jeux apparaissent bien.
      • Depuis votre PC, lancez un scrap gba avec UXS. cette action aura pour effet et créer un nouveau fichier gamelist.xml et éventuellement d'ajouter de nouvelles images dans le dossier downloaded_images. Assurez-vous, tout comme je l'ai fait, que Emulation Station est bien arrêté avant de lancer le scrap.
      • Redémarrez Emulation Station ou rebootez votre Recalbox
      • Dans Recalbox Manager, affichez à nouveau le contenu de votre dossier de roms gba. Cette fois, rien ne s'affiche: juste une page blanche avec la roue de chargement.

      Si vous avez une idée de la cause de ce problème et de comment le régler, ça m'intéresse fortement 😉

      1 Reply Last reply Reply Quote 0
      • Substring
        Substring last edited by

        @screech @DjLeChuck une idée ?

        Former dev - Please reply with @substring so that i am notified when you answer me
        Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

        1 Reply Last reply Reply Quote 0
        • NeeeeB
          NeeeeB last edited by

          Une idée comme ça à l'arrache :

          J'ai remarqué que UXS ne génère pas le Header du fichier xml quand il scrape.
          En gros il "manque" un truc de ce genre là au début du fichier gamelist.xml généré :

          <?xml version="1.0" encoding="UTF-8"?>
          <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
          <html xmlns="http://www.w3.org/1999/xhtml">

          A première vue ça ne pose pas de souci à ES qui est quand même capable d'interpréter le xml.
          Mais il est possible que Recalbox Manager ne soit lui pas capable d'interpréter le gamelist.xml sans ce header...

          Vieux geek ^^
          GameList Editor : https://github.com/NeeeeB/GameList_Editor

          1 Reply Last reply Reply Quote 1
          • mightor
            mightor last edited by

            C'est une idée. J'ai testé sans succès de copier le header d'un fichier généré depuis Emulation Station, qui ne contient que ça: <?xml version="1.0"?>
            Sans succès
            Avant ça, j'avais aussi déjà essayé de modifier la balise <game> qui est un peu différente entre UXS (<game id="97398" source="ScreenScraper">) et Emulation Station (<game>). Sans résultat non plus.

            Autre différence: XUS scrape par défaut la description en forçant la casse en majuscules. Je n'ai pas fait d'essai, mais je serais surpris que ce soit la cause.

            Autre idée: le fichier généré par Windows ne serait pas correctement encodé pour Linux (pb d'encodage ANSI/UTF/ISO etc.).

            J'ai fait mon scrape en laissant XUS accéder directement à la Recalbox, connectée en Wifi. Je vais la brancher en ethernet pour voir si ça change quelque chose.

            1 Reply Last reply Reply Quote 0
            • myjosito
              myjosito last edited by myjosito

              Je ne suis pas certain que cela ait vraiment un rapport avec le scrap UXS. Ce que je veux dire, c'est que tous mes scraps sans exception ont été réalisés via UXS. Pourtant dans Recalbox manager, certains systemes s'affichent (A7800, Colleco, MSX, ...). Et pour d'autres ça plante (PSX, AtariST,...), enfin je veux dire il y a le cercle d'attente.

              J'ai pensé que cela pouvait venir du nombre de ROM, mais non, cela n'est visiblement pas lié à ça.

              une précision: mes scraps sont tous fait avec les roms sur mon PC... et je transfere le tout ensuite sur le RPi. Ca peut avoir un rapport... mais ca n'explique pas pourquoi cela fonctionne avec certains systemes et pas avec d'autre chez moi.

              RPI4b 4Go / Argon One / Manettes XBOX360 ou SF30Pro

              1 Reply Last reply Reply Quote 0
              • mightor
                mightor last edited by

                Je confirme ce que dit myjosito. J'ai scrapé mes roms A7800 et Recalbox Manager les affiche correctement.
                Pour ma part, les roms sont directement sur la Recalbox.

                1 Reply Last reply Reply Quote 0
                • screech
                  screech last edited by

                  Alors, la... Pas la moindre idée....

                  Et si vous essayez avec le scraper intégré à ES ? ça fait pareil ?

                  Clean your Romset with Universal ROM Cleaner
                  Scrape your Romset with Universal XML Scraper

                  1 Reply Last reply Reply Quote 0
                  • myjosito
                    myjosito last edited by myjosito

                    OK, je pense avoir réussi à isoler le probleme... et du coup à le régler 🙂

                    En cherchant à importer les gamelist dans Excel (avant la mise à jour 4.1 je gerais mes listes de jeux ainsi), je me suis aperçu que pour mes xml, l'import dans Excel ne se passait pas bien du tout: je n'avais pas unicité du jeu, mais pour certains systemes, le jeu était splité sur plusieurs lignes, avec des cellules vides un peu partout, ... Bref, ingérable. J'ai mis ça sur le compte de la mise à jour 4.1, pensant que le format des XML avait dû changer.
                    Je ne suis pas une quiche avec Excel, j'ai passé mon apres midi à essayer de trouver une solution. Rien à faire.
                    Je me suis alors aperçu que pour certains systemes, ça fonctionnait tres bien. La mise à jour n'était donc pas en cause, et il fallait surtout se concentrer sur ce qui faisait que certains xml s'importaient bien dans Excel, et d'autres non.
                    ... et j'ai repensé à ce post: certains systemes s'affichent bien dans Recalbox manager, et d'autres non.
                    ... et comme par hasard... c'étaient les même systemes qui plantaient dans Excel et dans Recalbox manager 🙂

                    Et en testant un fichier xml, groupes de jeux par groupes de jeux, j'ai trouvé:
                    certains jeux avaient bien le chemin de l'image (qqch du style " <image>./downloaded_images/xxx.png</image>), mais il y avait aussi parfois à la suite le tag "<image />"
                    Et je pense que c'est cette double occurence du tag image (le lien de l'image, et en même temps le fait de dire "pas d'image") qui faisait planter l'import dans excel.
                    J'ai supprimé toutes les occurences de <image /> par "" (autrement dit remplacer par rien !) pour faire disparaitre les tags <image />

                    et du coup ca fonctionne tres bien dans Excel maintenant.
                    Et ca fonctionne également dans recalbox manager 🙂

                    J'ai la banane, je pourrais gérer mes jeux dans Excel comme avant. 😛

                    @mightor je te laisse tester de ton côté 🙂

                    RPI4b 4Go / Argon One / Manettes XBOX360 ou SF30Pro

                    voljega 1 Reply Last reply Reply Quote 0
                    • voljega
                      voljega Banned @myjosito last edited by voljega

                      @myjosito sauf que c'est surement excel qui rajoute ces tags en plus et que c'est vraiment n'importe quoi d'utiliser Excel pour editer du xml c'est vraiment pas fait pour, sans même parler des saloperies historiques que Microsoft a essayé de faire subir au xml.

                      Bref utilise notepad++ pour éditer tes XML pas un tableur qui n'a rien à voir avec le format.

                      Dans ton cas tout peut malheureusement se résumer à incompatibilité entre XML et Excel, rien à voir avec Recalbox Manager, UXS ou Gamelist Editor...

                      myjosito 1 Reply Last reply Reply Quote 0
                      • myjosito
                        myjosito @voljega last edited by

                        @voljega j'ai dû mal m'exprimer:
                        j'edite tous mes xml avec notepad++... évidemment.
                        Excel n'a rien rajouté du tout.

                        2 sujets:

                        • Pour mes listes de jeux, je gere tres bien avec Excel. Je me fais des stats, etc... ca me convient tres bien.
                          Certains savent se faire des listes avec des scripts python etc... moi je ne sais pas. Donc importer mes listes dans Excel pour le moment c'est ce qui marche le mieux pour moi.
                          ... jusqu'à ce qu'un super outil nous permette de faire mieux, mais ne sachant pas coder non plus... 🙂 (peut etre une nouvelle fonction pour @NeeeeB ??? 😛 )
                          Donc virer ce tag <image /> dans le xml (via notepad++ hein ! 😉 ) c'est ce qui a permis de regler mon probleme...

                        • pour raccrocher au sujet du topic, les xml ainsi modifiés fonctionnent à nouveau dans recalbox manager
                          Je ne mets en cause ni recalbox manager, ni UXS, ni Gamelist Editor. Ce sont 3 supers outils dans leurs domaines respectifs. Indispensables, et qui m'ont simplifié la vie à de multiples reprises.
                          Mon but c'est simplement de répondre à la question initiale de @mightor: en réglant mon probleme dans Excel, je pense avoir trouvé son probleme du même coup...

                        RPI4b 4Go / Argon One / Manettes XBOX360 ou SF30Pro

                        voljega NeeeeB 2 Replies Last reply Reply Quote 0
                        • voljega
                          voljega Banned @myjosito last edited by

                          @myjosito ok mais c'est possible que ce soit excel qui t'ait rajouté ces trucs c'est tout ce que je dis

                          1 Reply Last reply Reply Quote 0
                          • myjosito
                            myjosito last edited by

                            @voljega le probleme ne vient pas d'excel: la double occurence se trouve sur certains jeux, dans certains de mes fichiers gamelist... avant import dans Excel.
                            De toi à moi je crois surtout que j'ai dû foirer un scrappe c'est surtout ça 😉

                            RPI4b 4Go / Argon One / Manettes XBOX360 ou SF30Pro

                            1 Reply Last reply Reply Quote 0
                            • Substring
                              Substring last edited by

                              c'est forcement un pb avec autoit et UXS ( @screech je te vois tellement peu en ce moment que je profite de l'occasion :D)

                              Former dev - Please reply with @substring so that i am notified when you answer me
                              Ex dev - Merci de me répondre en utilisant @substring pour que je sois notifé

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                Hello, passage express (désolé, real work ^^)

                                Oui c'est une issue référencée 😞 dans certains cas (et je ne sais pas encore pourquoi) UXS rajoute une balise </image> en plus de la "vraie"....

                                Dès que mon boulot me lâchera un peu la grappe, je me remet dessus 😉

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • mightor
                                  mightor last edited by

                                  Bien joué ! Je confirme qu'en supprimant la balise <image />, j'arrive à afficher les roms dans Recalbox Manager.

                                  1 Reply Last reply Reply Quote 0
                                  • NeeeeB
                                    NeeeeB @myjosito last edited by

                                    @myjosito

                                    C'est faisable, une sorte de "check" du gamelist.xml pour virer les tags en doublon.
                                    Par contre j'ai carrément pas le temps de chez pas le temps en ce moment ^^
                                    Grosse deadline au taf que je ne dois pas louper ahah donc on verra tout ça quand je serai un peu plus dispo (vu comment c'est parti ça sent le début 2018)

                                    Vieux geek ^^
                                    GameList Editor : https://github.com/NeeeeB/GameList_Editor

                                    myjosito 1 Reply Last reply Reply Quote 0
                                    • myjosito
                                      myjosito @NeeeeB last edited by

                                      @neeeeb non non, pas de soucis. 😉
                                      Et ma demande était plutot si tu avais une solution pour un export des listes de jeux dans un tableur ou autre... mais finalement je gere pas trop mal en passant les xml dans Excel, je tiens des stats des jeux que j'ai testés, je mets des commentaires, etc... 🙂
                                      bon courage pour ton taf... et pense à jouer un peu qd meme 😉

                                      RPI4b 4Go / Argon One / Manettes XBOX360 ou SF30Pro

                                      NeeeeB 1 Reply Last reply Reply Quote 0
                                      • NeeeeB
                                        NeeeeB @myjosito last edited by

                                        @myjosito

                                        Si tu me files un exemple de tes fichiers Excel, je peux éventuellement ajouter une option pour générer un .xls à partir de la gamelist (c'est même relativement simple), par contre la retrocompatibilité avec ce que t'as déjà fait à mon avis faudra t'en passer...

                                        Vieux geek ^^
                                        GameList Editor : https://github.com/NeeeeB/GameList_Editor

                                        1 Reply Last reply Reply Quote 0
                                        • dodo
                                          dodo last edited by

                                          Merci @myjosito de m'avoir redirigé ici, j'ai effectivement pas mal de <image/> et <image/ > dans mes xml.
                                          Je les ai virés, je testerai ce soir. C'est quand même étrange, je n'ai jamais eu ce problème avec UXS avant,
                                          je dirais que c'est depuis la 4.1 et la possibilité de scrape depuis l'UI.

                                          Au passage, @screech , des projets pour UXS du genre scraper un sous ensemble de jeux qui n'auraient pas
                                          d'image par exemple ? Et conserver les données du xml existant, comme les favoris 🙂

                                          1 Reply Last reply Reply Quote 0
                                          • First post
                                            Last post

                                          Want to support us ?

                                          67
                                          Online

                                          99.6k
                                          Users

                                          28.1k
                                          Topics

                                          187.1k
                                          Posts

                                          Copyright © 2021 recalbox.com