Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    482429
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • naitreia
      naitreia last edited by

      Hi,

      you can reproduce it by scraping round about 4-5 hours.
      I think after 2k roms or so it will hang up.

      What happens is, that the scrape ends and you get the error-message "Database are down" or something like this.

      I tried it 3 times always the same result.

      1 Reply Last reply Reply Quote 0
      • naitreia
        naitreia last edited by

        Oh and im not canceled the scrape!
        Message database are down coming and thats it.

        1 Reply Last reply Reply Quote 0
        • Duss
          Duss last edited by

          Bonjour, j'ai un problème pour scraper la lynx et je ne trouve pas la solution.
          Ca trouve toutes les roms mais ca ne scrape pas comme ci il n'y avais aucune base de donné pour la lynx alors que c'est quasi complet sur screenscraper ? Mes roms sont pourtant bien nommées et je n'ai ce problème que pour la lynx ...
          Si une âme charitable pourrait m'aider, merci d'avance.

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            @Duss Peux tu poster une partie de ton fichier log ? (10 lignes du début et 10 lignes de la fin 😉 )

            Histoire de voir si la recherche se passe bien au bon endroit ?
            (Normalement il fait 3 types de recherche :
            (CRC + SYSTEM)
            (CRC)
            (FileName + SYSTEM)

            Il devrait au moins trouver ^^ sinon ça veut dire :
            Que tes roms n'ont pas de CRC ou de nom de fichier (sans extension) connu par Screenscraper

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • Duss
              Duss last edited by

              [00:49:06] - Version : 1.4.0.4
              [00:49:06] - Langue Selectionnee : 040c
              [00:49:06] - Recuperation des Profil
              [00:49:13] - SSH : Stop Emulationstation OK
              [00:57:47] - Recuperation des informations des systemes
              [00:57:54] - Selection du systeme
              [00:57:55] - Systeme selectionne : Super Nintendo
              [00:57:55] - Recuperation des Profil
              [00:57:55] - Recuperation des champs du profil
              [00:57:56] - Nombre de roms trouvees : 2199
              [00:57:56] - Creation des parametres pour le Mix

              ...........................

              [01:14:06] - Calcul des Hash en : 0.07s
              [01:14:06] - Recuperation des informations de la Rom no 68 (CRC + SYSTEM)
              [01:14:06] - --Recuperation des informations de la Rom no 68 (CRC)
              [01:14:06] - Recuperation des informations de la Rom no 68 (FileName + SYSTEM)
              [01:14:06] - (*)Rom non trouve : Zarlor Mercenary (USA, Europe).zip (Hash : 07087967)
              [01:14:06] - Fin de l'ecriture des informations de la Rom no 68 en 0.889s
              [01:14:06] - ---------------------------------------------------------------------------------------
              [01:14:06] - Debut de fusion des fichiers
              [01:14:06] - Bilan

              [01:14:08] - Scrape Termine
              [01:14:08] - Roms trouvees :0 / 68
              [01:14:08] - Roms ajoutes :0 / 68
              [01:14:08] - Temps moyen par Rom :0.915s
              [01:14:08] - Temps Total :0h 1m 9s

              1 Reply Last reply Reply Quote 0
              • Duss
                Duss last edited by

                Je t'avoue que je comprends pas grand chose mais je viens de voir que le fichier gamelist.xml de la Lynx est vide même après le crape.

                1 Reply Last reply Reply Quote 0
                • Duss
                  Duss last edited by

                  Et ca c'est peut etre mieux ^^'

                  [01:12:57] - Recuperation des informations des systemes
                  [01:13:03] - Selection du systeme
                  [01:13:04] - Systeme selectionne : Camputers Lynx
                  [01:13:04] - Recuperation des Profil
                  [01:13:04] - Recuperation des champs du profil
                  [01:13:04] - Nombre de roms trouvees : 68
                  [01:13:04] - Creation des parametres pour le Mix
                  [01:13:04] - ---------------------------------------------------------------------------------------
                  [01:13:04] - Calcul des Hash en : 0.1s
                  [01:13:04] - Recuperation des informations de la Rom no 1 (CRC + SYSTEM)
                  [01:13:04] - --Recuperation des informations de la Rom no 1 (CRC)
                  [01:13:05] - Recuperation des informations de la Rom no 1 (FileName + SYSTEM)
                  [01:13:05] - (*)Rom non trouve : A.P.B. - All Points Bulletin (USA, Europe).zip (Hash : 194ABA16)
                  [01:13:05] - Fin de l'ecriture des informations de la Rom no 1 en 0.892s

                  1 Reply Last reply Reply Quote 0
                  • screech
                    screech last edited by

                    Alors, en fait tu as fait un scrape super Nes avant ^^ du coup le début correspond au scrape super Nes ^^

                    Par contre, la fin, j'ai ta dernière rom lynx, qui est bien référencé au niveau du nom (mais pas au niveau du Hash) sur ScreenScraper.

                    Peux tu quitter le logiciel, le relancer, allez dans "configuration" / bouton "Avancée" et mettre "RechSYS" à 0

                    Du coup ça te demandera ton système avant le scrape, et il faut bien choisir Lynx .

                    Il devrait au moins te trouver la dernière 😉

                    Clean your Romset with Universal ROM Cleaner
                    Scrape your Romset with Universal XML Scraper

                    1 Reply Last reply Reply Quote 0
                    • screech
                      screech last edited by

                      Ah oui !! c'est mieux ^^

                      [01:13:04] - Systeme selectionne : Camputers Lynx

                      Tu ne choisi pas le bon système (ou alors c'est mon automatisation ^^)

                      Il faut prendre "Lynx" pas "Camputers Lynx"

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • Duss
                        Duss last edited by

                        J'ai fait mais je ne trouve qu'un seul Lynx malheureusement ^^''
                        et toujours le même résultat ...

                        1 Reply Last reply Reply Quote 0
                        • screech
                          screech last edited by

                          Effectivement, il y a un petit bug dans mon soft ^^ il confond les 2, je corrige demain 😉 (la il faut vraiment que je dorme ^^)

                          Clean your Romset with Universal ROM Cleaner
                          Scrape your Romset with Universal XML Scraper

                          1 Reply Last reply Reply Quote 0
                          • Duss
                            Duss last edited by

                            Et toujours "Camputers Lynx" dans le Log...

                            1 Reply Last reply Reply Quote 0
                            • Duss
                              Duss last edited by

                              Ok merci de ta patiente et bonne nuit 😉

                              1 Reply Last reply Reply Quote 0
                              • screech
                                screech last edited by screech

                                @Duss Et voila 😉 V1.4.0.5

                                Clean your Romset with Universal ROM Cleaner
                                Scrape your Romset with Universal XML Scraper

                                1 Reply Last reply Reply Quote 0
                                • Duss
                                  Duss last edited by

                                  Parfait !! Merci 🙂

                                  1 Reply Last reply Reply Quote 0
                                  • screech
                                    screech last edited by screech

                                    Working on new version of UXS 😉

                                    Based on the Theme DARKADE From @Nachtgarm (with some litle modification)
                                    And a New Template from MIX Profile

                                    This is some result :

                                    Exemple on SNES With a Background
                                    Exemple on SNES Without a Background found
                                    (For information, the Console picture is dynamic ^^ and it's part of the picture, not the Theme)

                                    Exemple on Game Gear 1
                                    Exemple on Game Gear 2

                                    Exemple on Mame

                                    The resolution of every picture scraped adapt to your screen resolution (in my exemple it in 1440x900 but you can do what you want : 800x600 to 4K if you want and it respect the Ratio)

                                    Be carrefull these picture take some place on your SD or USB Key (About 1Mo in 1440x900) so it's pretty heavy :S

                                    Tested on the Pi with few picture, it's working like a charm ^^
                                    (Need to Test on full set for evevry console ^^)

                                    Soon : The new Version 😉

                                    (That's just a teasing)

                                    Clean your Romset with Universal ROM Cleaner
                                    Scrape your Romset with Universal XML Scraper

                                    1 Reply Last reply Reply Quote 0
                                    • supernature2k
                                      supernature2k last edited by

                                      Alors là... ça me laisse sans voix 🙂

                                      Pi powered NES | Gameboy HD | RecalStation | RecalDrive
                                      Upvote messages if it has been useful ;)

                                      1 Reply Last reply Reply Quote 0
                                      • screech
                                        screech last edited by

                                        Héhé ^^ qui a encore besoin d'hyperspin quand on voit ce que peut faire la Recalbox ^^

                                        Clean your Romset with Universal ROM Cleaner
                                        Scrape your Romset with Universal XML Scraper

                                        1 Reply Last reply Reply Quote 0
                                        • naitreia
                                          naitreia last edited by

                                          Hi,

                                          new version still got the problem that scraping ends after round about 5 hours with "connection to database are broken".
                                          32 and 64bit version of the tool.

                                          1 Reply Last reply Reply Quote 0
                                          • kevinnash
                                            kevinnash last edited by

                                            Impressionnant screech, can't wait 🙂

                                            1 Reply Last reply Reply Quote 1
                                            • First post
                                              Last post

                                            Want to support us ?

                                            93
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com