Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    482033
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • voljega
      voljega Banned last edited by

      @Screech Bon après installation de la version d'aujourd'hui et récupération des parties de mon ini intéressantes ça marche sans problème, chelou mais pas la peine de se prendre la tête donc ^^ Par contre j'ai de nouveau toutes les infos en majuscule c'est où que ça se règle ça déjà ? Pour la collecte des infos ça ne me gène pas mais je pense qu'il faut que tu mettes un disclaimer au premier lancement et que tu autorises l'utilisateur à accepter ou non.

      1 Reply Last reply Reply Quote 0
      • supernature2k
        supernature2k last edited by

        @voljega, menu Edition>Configuration, tu décoches Majuscule en bas à droite 🙂 @courte, et bien par exemple tout con, j'ai ajouté des infos pour crash bandicoot sur PSX mais je ne sais pas comment ajouter le nom de rom/hash (d'ailleurs faut que je trouve comment récupérer le hash d'un fichier). screech m'a proposé de lui envoyer les infos ou bien à marblemad. Peut être faut il des droits spéciaux pour le faire? @acris, renommes tes roms, la recherche par nom cherche le nom EXACT. Essaie par exemple de renommer Bedlam (1983).vec en Bedlam (USA, Europe).vec

        Pi powered NES | Gameboy HD | RecalStation | RecalDrive
        Upvote messages if it has been useful ;)

        1 Reply Last reply Reply Quote 0
        • screech
          screech last edited by screech

          Pour @Acris : Effectivement ^^ tu cherches aussi 😛
          ils sont en .vec (donc pas compressé donc impossible à trouver via le CRC) et ils ont était renommé (donc impossible à retrouver par le nom de la rom)
          Je vais te faire gagner du temps ^^ voici comment doivent s'appeler tes fichiers pour être scrapé (en plus j'avais complété le système Vectrex ^^ normalement tu auras un full scrape 😄 )

          Armor Attack (1982).vec -> Armor..Attack (World).vec
          Bedlam (1983).vec -> Bedlam (USA, Europe).vec
          Berzerk (1982).vec -> Berzerk (World).vec
          Blitz! - Action Football (1982).vec -> Blitz! - Action Football (USA, Europe) (0F11CE0C).vec
          Cosmic Chasm (1982).vec -> Cosmic Chasm (World).vec
          Fortress of Narzod (1982).vec -> Fortress of Narzod (USA, Europe).vec
          Hyperchase (1982).vec -> HyperChase - Auto Race (World).vec
          Mine Storm (1982).vec -> Mine Storm (World).vec
          Polar Rescue (1983).vec -> Polar Rescue (USA).vec
          Pole Position (1982).vec -> Pole Position (USA) (A00ED3D6).vec
          Rip-Off (1982).vec -> Rip Off (World).vec
          Solar Quest (1982).vec -> Solar Quest (World).vec
          Space Wars (1982).vec -> Space Wars (World).vec
          Spike (1983).vec -> Spike (USA, Europe).vec
          Web Wars (1983).vec -> WebWars (USA).vec
          

          @Voljega : C'est ça ^^ @Supernature2k va pouvoir faire ma hotline bientôt ^^

          @Supernature2k concernant les roms/hash manquante sur Screenscraper, normalement, lorsque tu lance un scraper avec UXS, tu as un fichier missing.txt qui apparaît dans le répertoire scrappé.

          Ce fichier contient : le nom du fichier de la rom, sa taille en octets, son Hash en CRC32 et sa date de dernière modif 😉

          C'est ce fichier qu'il faut envoyer à MarbleMad pour qu'il les ajoute 😉 C'est effectivement, une des rares choses qu'on ne peut pas faire directement 😉

          (Merci d'assurer le service après vente pendant mes absences ^^ )

          Clean your Romset with Universal ROM Cleaner
          Scrape your Romset with Universal XML Scraper

          1 Reply Last reply Reply Quote 0
          • supernature2k
            supernature2k last edited by

            Pas de soucis @screech, c'est que je commence à bien le connaitre ton soft 😄 Je vais voir pour créer un listing de roms manquantes. Où puis-je envoyer ça?

            Pi powered NES | Gameboy HD | RecalStation | RecalDrive
            Upvote messages if it has been useful ;)

            1 Reply Last reply Reply Quote 0
            • voljega
              voljega Banned last edited by

              Sinon @Acris ne t'embête pas avec le renommage, le set no intro Vectrex se scrappe tout nickel avec UXS

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                @Supernature2k je viens de demander à Marblemad comment il souhaite procéder 😉 je te tiens au courant 😉

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • acris
                  acris last edited by

                  @screech Je pensai kil aurait fait une recherche sur les 1ers mots avant la.parenthese. Cependant je viens de recuperer le set nointro et je narrivr pas à la scrapper. Jai un message d erreur line19421 Error subscript used on non acessible variable. Jai testé les 2 dernieres versions. @voljega jai recupere les autres roms nommées ainsi.

                  1 Reply Last reply Reply Quote 0
                  • voljega
                    voljega Banned last edited by

                    Ah tiens la même erreur que j'ai temporairement sur l'avant dernière version

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by

                      :S Je ne sais pas trop d'ou vient cette erreur :S Peut être le module de TimeOut (je vais checker)

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • screech
                        screech last edited by screech

                        @Supernature2k voila la réponse de MarbleMad :

                        Il est prévu au final (pas encore eu le temps de m'en occuper) que la base de données des fichiers roms (et leur CRC) soit auto-alimenté par les requêtes API du scraper ! En attendant, il faut me contacter en MP pour que j'ajoute les packs de roms connu et reconnu (pas du fait maison perso) a screenscraper !

                        Donc en gros, la grosse question c'est : d'ou viennent les roms qui sont en missing ? (D'un site particulier, d'un romset particulier, c'est du fait maison, c'est trop underground 😉 ) enfin voila.

                        Du coup, rien ne t’empêche d'envoyer un MP à Marblemad (via screenzone) pour lui envoyer un fichier avec les roms manquantes en lui expliquant d'ou elles viennent ect 😉

                        Clean your Romset with Universal ROM Cleaner
                        Scrape your Romset with Universal XML Scraper

                        1 Reply Last reply Reply Quote 0
                        • voljega
                          voljega Banned last edited by

                          @Screech j'ai jamais essayé mais est ce que ton scraper gère les sous répertoires ds un réertoire de roms ? (Genre snes/shootemup snes/rpg etc)

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by screech

                            Malheureusement non... Pas pour le moment...

                            En fait j'ai bloqué la récursivité parce que ça fait des trucs bizarre ^^

                            Je dois pouvoir faire quelques modif pour que ça fonctionne, il faudrait que je me re-penche sur le sujet 😉

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • supernature2k
                              supernature2k last edited by

                              Ok @screech, Ce que je voudrait ajouter en 1er ce sont des images PSX provenant d'un site anciennement listé par mr bot irc.

                              Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                              Upvote messages if it has been useful ;)

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by

                                @Supernature2k c'est que ça doit être du fiable ^^ Donc vas y surtout que c'est léger sur psi 😉

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • supernature2k
                                  supernature2k last edited by

                                  @screech, en fait la plupart des roms PSX sur ce site sont en .cue+.bin Du coup je fourni quoi à marble?

                                  Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                  Upvote messages if it has been useful ;)

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by

                                    Les 2 ^^

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • screech
                                      screech last edited by

                                      Nouvelle version : V1.3.0.11

                                      Correction du bug avec le message d'erreur en cas de TimeOut ^^ ça ne devrait plus le refaire 😉

                                      Clean your Romset with Universal ROM Cleaner
                                      Scrape your Romset with Universal XML Scraper

                                      1 Reply Last reply Reply Quote 0
                                      • Nachtgarm
                                        Nachtgarm last edited by Nachtgarm

                                        Hey @screech. First of all: AWESOME Tool! Thank you!

                                        I just downloaded the latest version of it and ran into an error, while trying to scrape SNES (EU Only) games in a local dir. So I was not scraping directly to my Pi. I got the following error after it actually scraped the first few games and downloaded the images (Recalbox V4 Mix)

                                        0_1469225538473_Error.png

                                        Any Idea, what this might've caused? I'm using 1.3.0.10 64bit

                                        EDIT: I tried the latest one just now (1.3.0.10, 64bit) which seems to be working fine, except the SSH commands are not working for me.
                                        EDIT 2: With the latest version it has found all my SNES Games on my PI, downloaded all the images, but only every few are displayed in ES... any idea why this is happening? (There are only 60+ games on there)

                                        1 Reply Last reply Reply Quote 0
                                        • screech
                                          screech last edited by

                                          Hello @Nachtgarm

                                          First of all, the last version is the 1.3.0.11
                                          And this version fixe this error message (due to a TimeOut on Screenscraper)

                                          For SSH fonction, It work (at last on my Recalbox ^^) had you change some password ?
                                          If so, you can edit the SSH config in the UXS-config.ini file :

                                          [CONNEXION]
                                          Menu_SSH = 1
                                          Plink_root = root
                                          Plink_mdp = recalboxroot
                                          Plink_IP = RECALBOX

                                          For your SNES Scrape, if the SSH commands doesn't work had you kill Emulationstation manually ?
                                          If not, that's why. Be sur emulationstation is killed before scrape (you have a black screen on your recalbox when it's done 😉 )

                                          Let me know if there is other problem 😉 I'll try to help you as much as I can.

                                          Clean your Romset with Universal ROM Cleaner
                                          Scrape your Romset with Universal XML Scraper

                                          Nachtgarm 1 Reply Last reply Reply Quote 1
                                          • PumpKHeaD
                                            PumpKHeaD last edited by

                                            Great job @screech, thank's for share this.
                                            I have three questions...

                                            I can remove "-image" in the images files in Universal XML Scraper menus, UXS-config.ini or another place?

                                            You think about create a checkbox, menu... to add "<image>./image/game.png</image>" in XML when don't find nothing in screenscraper.fr? To us put a image manually.

                                            Would you be interested in a Universal XML Scraper translation in Portuguese too?
                                            https://www.dropbox.com/s/y4cr2vwwi7mudsd/UXS-PORTUGUESE.XML

                                            1 Reply Last reply Reply Quote 1
                                            • First post
                                              Last post

                                            Want to support us ?

                                            80
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com