Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633072
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • acris
      acris last edited by

      @Jinkz
      le triage de l'arcade n'est pas comme les romsets de console ça demande un minimum de connaissance (rom parent, rom clone) et surtout la lecture de la documentation arcade sur le wiki.
      Et le meilleur outil pour réaliser un premier triage pour obtenir uniquement les roms parentes d'un romset arcade est clrmamepro
      puis ensuite séparer les roms parentes neogeo (pour fba libretro)
      Le tutoriel qui je pense complet : http://mamedl.esy.es/static1/clrmamepro

      1 Reply Last reply Reply Quote 0
      • Jinkz
        Jinkz last edited by

        Merci acris. Apres si je comprend bien tu me dit de faire ce logiciel pour séparer les jeux neogeo des arcades ? Mais Ca c'est deja fait. Dans recalbox j'ai bien l'emulateur neogeo avec ses jeux à l'intérieur. Mais je pense que le logiciel va m'aider à enlever les clones celui que tu m'a donné. Je vais essayer Ca ce soir je verrais bien.

        1 Reply Last reply Reply Quote 0
        • Jinkz
          Jinkz last edited by

          Bon je comprend toujours pas clrmamepro 😕 j'ai essayé de supprimer tous les roms fba libretro, j'ai remis les roms puis scraper mais sa fais pareil ...
          C'est quoi la différence entre fba libretro Et mame ? Il peut avoir tous les jeux sur mame Et enlever l'emulateur libretro ?

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            @Acris est vraiment plus "calée" que moi sur le sujet mais,

            FBA et MAME sont 2 émulateurs différents. Leurs romset sont eux aussi differents (même si des roms de l'un peuvent fonctionner sur l'autre et inversement).

            Acris t'as donnée les liens sur les tutos, je te conseil de bien les consulter. et de faire des essais.

            Le plus simple serait surement d'ouvrir un autre sujet (ce n'est pas particulièrement lié au Scrape la, c'est plus de la gestion de romset) d'autres (qui ne consultent pas forcement ce sujet) pourront certainement plus t'aider que moi 😞

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • anthonyv42
              anthonyv42 last edited by

              Bonsoir 🙂
              J'ai un soucis avec XML scrapper, je n'arrive pas a le faire fonctionner. Quand je lance un scrap sur mon SD, toutes les roms sont bien trouvées, j'ai ensuite l'apparition du dossier image et la modification du fichier gamelist cependant, rien ne change sur ma recalbox et quand je redémarre cette derniere, je me retrouve a nouveau avec un fichier gamelist vierge.
              Le scrap a marché une seule fois, lors de sa première utilisation pour faire un test sur mes roms NES, tout a très bien fonctionné et depuis, je n'ai malheureusement pas pu le faire remarcher à nouveau.
              Si quelqu'un a déja eu ce problème auparavant j et trouver la solution e suis preneur 🙂
              Merci !!

              GRALLEC 1 Reply Last reply Reply Quote 0
              • percevaal
                percevaal last edited by

                Bonjour,
                avant toutes choses : je suis un débutant.
                j'ai téléchargé xml scraper, suivit tout le tuto (obligé de passer par puty pour arreter la recalbox). Et qua je lance le scrap, ca marche un moment (très variable entre 30 et 200 jeux) et ca finit par planter avec ce message: "error: subscript used on non-accessible variable."
                si je relance xml scraper il me dit que des fichiers temporaires on étés trouvés et me demande si je veux les sauvegardé.
                Je ne sais plus quoi faire, si quelqu'un avait une idée.
                merci d'avance

                1 Reply Last reply Reply Quote 0
                • GRALLEC
                  GRALLEC @anthonyv42 last edited by

                  @anthonyv42
                  quand tu as scraper il faut éteindre recalbox via le menu en choisissant "éteindre ou redémarrer" sinon pas de sauvegarde.
                  Halte au débranchement sauvage....

                  -RPI3

                  • RECALBOX 4.1 stable (juillet 2018)
                    -Manettes 8Bitdo NES30 PRO et SFC30 xbox 360 sans fil/ stick arcade NES 30 sanwa /NES/SNES/N64 avec retro Adaptateurs
                    -SD Scandisk 128
                    -SuperPicase retroflag
                    -Windows 10
                  1 Reply Last reply Reply Quote 0
                  • percevaal
                    percevaal last edited by

                    A force de chercher je me pose 2 questions:

                    • est il normal que je sois obliger d'utiliser puty pour contrôler ma recalbox (en fait que SSH ne marche pas sur xml scraper)?
                    • il est indiqué dans le tuto de bien avoir des fichier en .zip (je suppose que.7Z marche aussi), mais quand je dl des fullset je suis obliger de les deziper (d'abord une première fois pour séparer le gros fichier puis une seconde pour séparer les titres identique). donc je met les roms en .SMC par exemple dans a recalbox. Il faut que je les rezip après pour que xml scrap marche bien?
                      en tout cas ce logiciel est super (même si je suis pas très doué avec) et félicitation a celui ou ceux qui s'en occupe.
                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by

                      @anthonyv42 Il faut absolument que Emulationstation soit quitté AVANT de scrape.
                      Normalement, Il te le propose avant un scrape, tu peux passer par le menu SSH, ou mieux encore, le faire toi même avec PUTTY en faisant un "killall emulationstation". Sinon au redémarrage, ES remettra les fichiers gamelist.xml qu'il avait au démarrage 😉

                      @percevaal effectivement, j'ai un bug aléatoire qu'il faut que je piste :S je vais chercher ça.
                      Et normalement UXS est censé faire le killall sans passer par putty, mais je ne sais pour quelle raison, il est parfois capricieux et ne veux pas marcher 😞
                      Par contre, il ne faut pas zipper/dezipper. En premier lieu, si tu as des fichiers 7z, c'est que la "source" de tes roms est pas "terrible'. Les romset "connus" sont en zip 😉
                      Tu peux par contre conserver tes roms dézippé ça fonctionne très bien aussi (c'est même obligatoire pour certains émulateur comme la N64) c'est juste que ça prend plus de place.
                      Par contre rezipper le fichier va te creer un nouveau "Hash" et du coup la rom risque de ne pas être retrouvée dans la BDD.

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      percevaal 1 Reply Last reply Reply Quote 0
                      • percevaal
                        percevaal @screech last edited by

                        @screech merci pour ces réponses.

                        alors voila ou j'en suis:
                        j'ai utiliser un full set snes no-intro en .zip
                        quand je lance UXS, il plante toujours aléatoirement (peut monter jusqu'à 200 environ).
                        mon raisonnement (surement un poil naïf) a été le suivant:
                        laisser seulement 100 jeux dans le dossier rom de la recalbox, lancer UXS et la le résultat est bon. j'enlève ces 100 roms (mises de coté dans la recalbox) lance 100 autres jeux et la encore tout bon. Je pensais pouvoir remettre mes 100 ères roms avec ceux la, mais ca marche pas (seul le dernier lot est scrapé, même si les images du 1er lot sont bien présentes dans le dossier "downloaded_images")
                        une idée ? voir carrément une solution?
                        encore merci de prendre le temps de me répondre, c'est vraiment sympa.

                        ProfMielPops 1 Reply Last reply Reply Quote 0
                        • ProfMielPops
                          ProfMielPops @percevaal last edited by

                          @percevaal

                          Ton fichier xml contient le chemin des 100 dernières images et plus des 100 premières.

                          1 Reply Last reply Reply Quote 0
                          • percevaal
                            percevaal last edited by percevaal

                            Voila trouvé une solution (laborieuse mais qui marche)
                            je scrap 100 jeux, je sauvegarde le fichier xml par sécurité, je rajoute 100 jeux et la je scrap mais en ayant bien précisé dans UXS que c'est une mise à jour et comme ca il saute ceux qui on déjà étés scrapé et ne s'occupe que des nouveaux. Si ca marche, je rajoute 100 et ainsi de suite. Si ca plante, je remet ma dernière sauvegarde du fichier xml et je recommence les 100 derniers.
                            bon ca corrige pas le bug (un problème de mon pc peut être?) mais ca me permet quand même d'avancer. 😉
                            si ca peut servir à quelqu'un.

                            1 Reply Last reply Reply Quote 0
                            • Gruute
                              Gruute last edited by

                              Bonjour,

                              Nouveau possesseur d'une recalbox, j'avoue que je galère tout comme percevaal : UXS plante aléatoirement, quel que soit la console sur laquelle je le fais travailler. Du coup, je vais essayer son contournement par paquets de 100 roms.
                              Si quelqu'un a une idée, à votre bon coeur 🙂

                              Et merci d'avance !

                              1 Reply Last reply Reply Quote 1
                              • arubinu
                                arubinu last edited by

                                Bonjour tout le monde,

                                La dernière version plante aussi aléatoirement chez moi, j'utilise l'avant dernière et ça passe.

                                Par contre, maintenant qu'il y a la Dreamcast sur RecalBox, et que ça fonctionne mieux avec des roms au format GDI (donc comprenant des fichiers "track"), je suis obligé de faire des dossiers et le scrap est un peu bizarre (même si c'est logique).

                                En gros, le fichier GDI est mal scrapé mais les "track" sont correct, sauf que c'est le GDI qui pemet de lancer le jeu.
                                Du coup je n'ai pas encore cherché à trafiquer le fichier "gamelist.xml", j'ai uniquement caché les "track" de la liste (il faut toujours rentrer dans le dossier).

                                Comme je n'en ai pas beaucoup, je peux le faire à la main, mais est-ce que quelqu'un aurait une vrai solution, ou un moyen d'éviter la vue en dossier?

                                1 Reply Last reply Reply Quote 0
                                • screech
                                  screech last edited by

                                  Désolé, il y avait un gros bug sur le 2.2.0.2...
                                  Je viens de corriger :

                                  2.2.0.3
                                  Corrected :

                                  • Random Error making UXS crash. (Changing a part of MAIN <-> ENGINE communication system)
                                  • Changing color progressbar is now only green (Maybe a raison of random crash)
                                  • SSH finally will work (sorry for that)
                                  • Apostrophes in filename now works... (Thanks Marblemad)

                                  Added :

                                  • ProgressBar when creating the XML File

                                  Clean your Romset with Universal ROM Cleaner
                                  Scrape your Romset with Universal XML Scraper

                                  arubinu 1 Reply Last reply Reply Quote 0
                                  • arubinu
                                    arubinu @screech last edited by

                                    @screech Bonjour,

                                    Je viens d'y repenser, donc je te pose la question.

                                    En faisant mon scrape, il m'est arrivé que ma connexion saute, et le sauf continuait à défiler les roms (le temps d'attente n'est pas mis à jour pendant ce temps), et du coup une partie n'est pas prise en compte.

                                    Serait-il possible d'ajouter dans une future version, une détection du statut de la connexion afin de mettre en pause le temps que la connexion revienne ?

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      @arubinu Ce sera surement possible avec la V2 de l'API de screenscraper qui me permettra de tester les codes erreurs de retour 😉

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 1
                                      • johnDoe_1
                                        johnDoe_1 Banned last edited by

                                        Salut @screech, toujours pas de fix pour ce foutu bug lors du scrape ?

                                        Quand je scrape juste les images, il me remplace mes 4img en une photo de jaquette, j'ai essayé en 3img pareil et le reste ça doit être la même chose.

                                        Du coup j'ai tout supprimé, je scrape en nouveau fichier xml, ça scrape en 4img mais j'ai genre 1/4 voir 2/4 des images est remplacé par une image Windows (La visionneuse de photos Windows ne peut ouvrir cette image car le fichier semble endommagé ou corrompu, ou il est trop grand) J'ai beau relancer le scrape, c'est toujours les mêmes images (sauf quelques-unes) qui ont ce fameux problème

                                        Bonne soirée

                                        1 Reply Last reply Reply Quote 0
                                        • johnDoe_1
                                          johnDoe_1 Banned last edited by johnDoe_1

                                          Deuxième commentaire (je ne peux éditer celui du dessus, bizarre)

                                          Je confirme, il me télécharge que des images endommagées


                                          EDIT : Les logs --> https://www.dropbox.com/sh/i18zcqmi5rn5k8m/AACmqKjTg-6485g8ROsepwVca?dl=0

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by

                                            Bizarrement, c'est comme s'il ne trouvait rien, aucune de tes Roms :S

                                            [22:19:36] - /!\ Error File Line 1 : Erreur : Rom/Iso/Dossier non trouvée !
                                            [22:19:36] - /!\ Bytes read: 41

                                            Du coup, il fait des trucs bizarres avec les images...

                                            Pour info, tu es le seul à me remonter ce genre de truc "bizarre" ^^ du coup, je "suppose" qu'il y a un pb chez toi... mais alors lequel :S

                                            Si tu effaces complètement ton rep d'UXS, ton fichier gamelist.xml, le répertoire downloaded_images et que tu relance un scrape ? ça marche ?
                                            A mon avis y a un truc qui bloque, mais je vois pas quoi.. Peux tu essayer aussi de scraper un autre systeme plus 'simple' genre megadrive ou Nes ?

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            johnDoe_1 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            65
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com