Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper V2

    Community projects
    [soft] universal xml scraper
    112
    670
    633197
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • screech
      screech last edited by

      c'est bizarre...

      à priori toutes ces roms sont déjà référencées...

      Et j'ai cherché la premiere. Le CRC/MD5 est bien présent et déjà associé au bon jeu :

      http://www.screenscraper.fr/rominfos.php?romid=197775

      Il n'y a que le nom de la rom qui change :S

      Mais du coup ça devrait pas ressortir dans les missings et il devrait le scraper :S

      Clean your Romset with Universal ROM Cleaner
      Scrape your Romset with Universal XML Scraper

      stamstamstam 1 Reply Last reply Reply Quote 0
      • stamstamstam
        stamstamstam @screech last edited by

        @screech
        J'ai eu beau chercher ces noms dans tous les sens dans la database, aucun moyen de les trouver.
        Je me disais que ce serait probablement plus simple de les trouver en utilisant CRC/MD5 - si cette option est déjà dispo, alors je me suis cassé la tête pour rien 🙂

        Donc apparemment toutes ces roms sont déjà référencées? C'est vraiment étrange.
        Merci pour tes retours rapides en tout cas, c'est vraiment apprécié.

        1 Reply Last reply Reply Quote 0
        • stamstamstam
          stamstamstam last edited by stamstamstam

          Hello c'est encore moi (youpi),
          Je ne suis pas capable de scrapper. J'ai testé la dernière version, ça bloque sur le hashing de la première rom. Je l'ai laissé tourner 1h30 et c'était toujours bloqué.
          J'ai testé a nouveau avec la version 2.1.0.0 avec la modif du fichier UXS-config.ini et ça ne répond plus, ça fait complètement planter l'appli.
          Je précise que j'essaye de scrapper les roms PSX.
          Une idée?

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            Si tu scrapes tes Roms via le réseau, essaye la nouvelle fonction "expérimentale" (dans la gonfig générale). Elle permet de demander au PI de calculer le Hash. ça évite un rapatriement en local pour le calcul (sur des gros fichiers ça fait gagner beaucoup de temps. Sur des petits ça en fait perdre 😉 )

            Pour cela il faut juste que le SSH fonctionne (UXS interroge le PI en SSH 😉 )

            Autre solution, scrape en local (en mettant tes roms sur une clef USB 😉 ou en récupérant tes ISO en local par exemple 😉 )

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • stamstamstam
              stamstamstam last edited by

              Merci pour l'info, effectivement c'est logique. J'avais toutes les roms en local du coup c'était très rapide.
              Par contre j'ai remarqué que certaines roms n'ont pas récupéré d'info et/ou n'ont pas récupéré les images, y'a t-il un fix pour ça?

              Merci pour ta patience en tout cas.

              1 Reply Last reply Reply Quote 0
              • yrojoue
                yrojoue last edited by yrojoue

                Bonjour,

                Après de long mois à bidouiller dans mon coin un thème pour les écrans 4/3 (que je mettrais bientôt à disposition sur le forum)...
                Je redécouvre ton excellent soft, et surtout la nouvelle façon de créer des MIX. Malgré mais recherche sur le wiki je n'ai pas retrouvé la fonction pour faire une rotation d'image. Cette fonction est elle toujours disponible?

                par avance merci.

                1 Reply Last reply Reply Quote 0
                • Takylmor
                  Takylmor last edited by

                  Bonjour,

                  Premièrement, je tenais à te remercier pour ton travail, tu nous simplifie grandement la vie.
                  Maintenant, j'ai un petit problème, je viens de lancer mon logiciel, qui m'informe d'une mise à jour que je m'empresse de télécharger.
                  Je met le .exe à la place de l'ancien, mais lorsque je lance ton logiciel, il ne démarre pas et mon curseur tourne sans cesse.
                  Obliger de redémarrer.
                  J'ai essayer de modifier la version dans UXSconfig, mais rien n'y fais.
                  Dois je faire autre chose ?
                  En remettant l'ancien, ça marche, mais bon......
                  Merci par avance.

                  1 Reply Last reply Reply Quote 0
                  • Ramstatlon
                    Ramstatlon last edited by

                    Ici un pastebin de 2 roms pour des traductions fr de Captain Tsubasa 3 sur SNES
                    http://pastebin.com/hN7GSeHV

                    recalboxOS 4.0.0-beta6
                    Raspberry pi 3
                    manettes 8Bitdo SCF30 & NES30 Pro

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by screech

                      @stamstamstam pas de "fixe" pour ça, hormis venir nous aider à compléter la BDD : http://www.screenscraper.fr/ 😉 il s'agit surement d'information ou de media manquant ^^ (Bonus, en participant à la BDD, on te remerciera en "debloquant" des "threads" avec ton identifiant Screenscraper dans UXS qui te permettrons de scraper encore plus vite 😉 )

                      @yrojoue Oups ^^ c'est effectivement un oublie ^^ la "fonction" est prete dans le soft mais n'est pas appelable ^^ je corrige ça très vite 😉

                      @Takylmor essaye de mettre la nouvelle version "toute seule" dans un nouveau repertoire (pas dans l'ancien) pour recreer les fichiers pour voir si ça ne viendrait pas de ça des fois :S

                      @Ramstatlon c'est fait 😉

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • Takylmor
                        Takylmor last edited by

                        ça ne fonctionne toujours pas.
                        Après plusieurs essai, il a réussi à me créer un UXS-config, mais ne veux tout de même pas se lancer.
                        C'est surtout que je n'ai pas de messages d'erreur, ça mouline continuellement, jusqu'à redémarrage du pc.

                        1 Reply Last reply Reply Quote 0
                        • stamstamstam
                          stamstamstam last edited by

                          Justement, j'ai vérifié.
                          Par exemple, Resident Evil 2 ou encore Final Fantasy VIII possèdent des informations complètes sur le site, hors le scrapper ne les a pas récupéré.

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            @Takylmor Peut etre un pb d'antivirus ? peux tu essayer en le desactivant (temporairement) et/ou en lancant en Admin (MaJ + Clic droit "lancer en administrateur")

                            @stamstamstam Il s'agit alors de "missing" peux tu verifier le CRC+nomfichier de tes roms et ceux dispo dans les fiches Screenscraper ?

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • yrojoue
                              yrojoue last edited by

                              @screech.

                              Ok je vais surveiller le changelog des mises à jours.

                              Une autre option qui pourrais être sympas s'est de pouvoir se servir du point inférieur droit d'une image pour la fixé (pour les medias box qui change de proportion).

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                c'est dans les cartons pour faire un point d'origine comme sur les themes ES (pas l'origine de l'image finale, mais l'origine de l'image que tu insert 😉 )

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • stamstamstam
                                  stamstamstam last edited by

                                  • les jeux ne sont pas dans le fichier "missing". Je n'avais qu'un seul jeu manquant que j'ai ajouté entre temps.
                                  • certains jeux vont aller chercher leur description mais pas les images, tandis que d'autres vont aller chercher les images mais pas la description. Pire, certains jeux ne récupèrent ni l'un ni l'autre.
                                  • comme expliqué plus haut, les isos sont bien assignées et toutes possèdent les infos et images qui auraient du être présentes lors du scrapping

                                  J'ai vraiment tout essayé.

                                  1 Reply Last reply Reply Quote 0
                                  • cotedeporc
                                    cotedeporc last edited by

                                    Petite question:

                                    En regardant l'API de ScreenScraper, j'ai vu que genresListe retourne les URLs pour obtenir les images des genres.

                                    Est-ce qu'il est possible de configure le Mix pour qu'il aille chercher dans ce fichier à la manière de System ou Game?
                                    (Il me semble que la balise <Root/> pourrait servir à cela)

                                    Thème FoolScreen / Squared

                                    1 Reply Last reply Reply Quote 0
                                    • Takylmor
                                      Takylmor last edited by

                                      @screech Merci c'était bien ce foutu antivirus, mais aucune alerte de sa part, et puis l'ancienne version fonctionnait bien donc je ne m'en souciais pas.
                                      Merci encore.
                                      Au passage, quel thème faut il pour afficher "standard(4img)" ?
                                      De plus, si j'ai tout scraper en moon, et que je scrape maintenant en standard (4img), les visuels vont ils se remplacer automatiquent ?
                                      Ou faut-il que je supprime d'abord tout les visuels ?

                                      1 Reply Last reply Reply Quote 0
                                      • stamstamstam
                                        stamstamstam last edited by stamstamstam

                                        Bon j'ai fait mes devoirs, je suis passé a travers tous les isos a problème, j'ai laissé une note sur http://screenscraper.fr/ lorsque l'iso n'était pas reconnue par le scrapper, et j'ai ajouté une poignée de screenshots et synopsis manquants.

                                        Comme mentionné plus haut, j'ai laissé un commentaire sur les pages des isos qui n'était pas reconnue. Le crc/md5 est toujours le bon mais le logiciel ne les scrappe pas. A ce niveau là c'est le maximum que je puisse faire, le problème se situe peut etre du coté logiciel.

                                        Merci!

                                        1 Reply Last reply Reply Quote 0
                                        • OcEaN
                                          OcEaN last edited by OcEaN

                                          J'ai un souci lors du scrape des images.
                                          J'ai p.ex les roms gb Super Mario Land, Dr.Mario, Wario Land qui sont scrapés avec l'image du screenshot au lieu de la Box 2D. Sur les 4 ROMS que j'ai scrapé il y a uniquement Super Mario Land ou il télécharge la Box 2D.
                                          Dans les options "Default picture" est mis sur Box 2D et "alternative picture" sur "Screenshot", mais lors du scrape il prends uniquement le screenshot.
                                          J'ai vérifié sur Screenscraper et les images 2D sont bien présentes, pour ces 3 jeux.
                                          Le file Hash corresponds bien ainsi que le nom, j'ai vu également que la région pour la box 2D est en US j'ai alors changé la région en %COUNTRY%|us|eu|fr|jp|wor|ss mais sa n'as pas aidé.

                                          EDIT: la je viends d'essayer sur 70 jeux SNES mis a part que le csrape a mis 10min il m'as trouvé correctement les 70 Box 2D de mes jeux. Le problème se présente par contre sur les jeux Game Boy ou Mega Drive.

                                          Quelqu'un a une idée?

                                          1 Reply Last reply Reply Quote 0
                                          • screech
                                            screech last edited by screech

                                            Bonjour, nous avons eu un petit soucis de DNS sur le Serveur de Screenscraper... Tous devrait rentrer dans l'ordre très rapidement.

                                            Hello, we have a little DNS problem... Everything will be back soon.

                                            Clean your Romset with Universal ROM Cleaner
                                            Scrape your Romset with Universal XML Scraper

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            83
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com