Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [TUTORIAL] Como fazer scrape com o Universal XML Scraper

    Recalbox geral
    [tutorial] como fazer scrape com
    13
    26
    28131
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • marcelo-goulart
      marcelo-goulart Translator last edited by marcelo-goulart

      Caros,

      Como alguns já sabem o processo de scrape da informações das ROMS pode ser algo extremamente trabalhoso e que demanda um bom tempo para reunir todas as informações necessárias utilizando a ferramenta padrão que vem no Recalbox.

      Pensando nisso, o usuário @screech criou a ferramenta Universal XML Scraper que realiza toda a tarefa de coletar capas e metadados das ROMS num computador com Windows e transfere os arquivos diretamente para o Recalbox. As informações são coletadas a partir do nome do arquivo e também do HASH desse arquivo.

      Requisitos:

      • A última versão do Universal XML Scraper
      • Roms em .zip ou .7z, de preferência de fullset conhecidos (No-Intro, Fullset, Tosec,...)
      • Um PC com Windows
      • Um Raspberry Pi com Recalbox conectado em rede
      • Software PuTTY (Opicional)

      Como proceder:

      1) Baixe o Universal XML Scraper e salve numa pasta qualquer em seu PC com Windows
      2) Abra o arquivo baixado. Durante a primeira execução ele criará algumas pastas e arquivos que servirão de auxílio para o seu funcionamento
      3) Selecione um perfil de funcionamento do scraper [O padrão é o Screenscraper (Mix) -Recalbox V4]

      Menu "Arquivo" --> "Carregar perfil" --> Escolha do perfil --> Botão "Selecionar"

      4) Defina como voce fará o scraper, existem duas formas:

      Automática

      Dentro do menu "Editar" terá a opção configuração automática e dentro dessa opção, terá a lista de diversos sistemas. Ao selecionar um sistema as configurações dos caminhos das pastas dentro do Recalbox, bem como os nomes de arquivos que serão utilizados para salvar o scraper serão preenchidos de forma automática.

      É possível também realizar o scraper de todos os sistemas ao mesmo tempo através da opção "Scraper de todos os sistemas"

      Manual

      Caso teu Recalbox tenha alguma configuração fora de padrão, será necessário preencher as informações sobre as pastas das ROMS e do scraper de maneira manual. Para acessar a configuração manual é só acessar o menu "Editar" na opção "Configuração". Abaixo segue uma tela de como é o menu de fato (Prometo inserir uma figura com o menu em Português):

      0_1472748424873_upload-e98bf2c3-1ac2-4ac6-b1ee-bccc30f8ecea

      5) Com as configurações definidas voce poderá selecionar o modelo de imagens dos jogos, a alteração pode ser feita a partir do menu "Editar" na opção "Modificar o perfil de imagem Mix". Abaixo seguem alguns dos modelos disponíveis:

      Exemplo 1:
      0_1472748891112_upload-d77de428-abc5-40ab-8040-f5c3f7fa1781

      Exemplo 2:
      0_1472748896901_upload-af92624d-d32b-42b1-a2fa-0233dfc68264

      Exemplo 3:
      0_1472748909716_upload-5b655fc5-d561-42d6-af91-17b82f56aad0

      6) Após as configurações é necessário encerrar o EmulationStation no Recalbox, esse processo pode ser feito com o software PuTTY entrando no console do Recalbox ou a partir do Universal XML Scraper no menu "Comandos SSH" na opção "Parar EmulationStation"

      7) Caso não seja a primeira vez que está fazendo scrape, apague a pasta downloaded_images e a gamelist.xml no caminho //RECALBOX/share/roms/ da pasta do sistema selecionado para fazer scrape e então é só clicar no botão "Scrape".

      Exemplo, se voce já fez scrape antes dos jogos de Super Nintendo apague a pasta downloaded_images e o arquivo gamelist.xml que estão armazenadas no caminho //RECALBOX/share/roms/snes

      0_1472749085532_upload-3e9b8ebc-6e6e-4728-ad72-f9b620a46e44

      A barra de progresso mostrará o andamento do processo até seu término, apresentando uma pequena janela com o status de todo o processo:

      0_1472749162923_upload-9600a9c0-c03e-47df-b57e-6ffd1c497185

      😎 Com o processo finalizado deve-se reabrir o EmulationStation através do menu "Comandos SSH" na opção "Ligar EmulationStation"

      9) Pronto! Acesse o sistema que voce fez o scraper e verifique os resultados!

      RodsBrito 1 Reply Last reply Reply Quote 1
      • RodsBrito
        RodsBrito @marcelo-goulart last edited by

        @marcelo-goulart Excelente. Uma pena que já tinha feito o scrap pelo sistema, bem como scrap "na raça" das roms que faltava. Mesmo assim, achei bem interessante a opção de visualização. Acho que vou fazer um backup e testar.

        Desde já, pergunto se algumas roms não localizadas no scrap padrão são baixadas, como f-zero, joe & mac e hyper street fighter II.

        Abraço.

        1 Reply Last reply Reply Quote 0
        • marcelo-goulart
          marcelo-goulart Translator last edited by

          Quando o Scrape não é localizado, ele aparece na lista mas sem imagens ou descrições!

          1 Reply Last reply Reply Quote 0
          • Igor Luiz Ali
            Igor Luiz Ali last edited by

            Comigo nunca baixa as imagens... queria as imagens no Mix Standard (capa, print e logo) mas nunca funciona... ou nao tem na database, ou o app tem algum problema...

            DAM 1 Reply Last reply Reply Quote 0
            • DAM
              DAM @Igor Luiz Ali last edited by

              @Igor-Luiz-Ali said in [TUTORIAL] Como fazer scrape com o Universal XML Scraper:

              Comigo nunca baixa as imagens... queria as imagens no Mix Standard (capa, print e logo) mas nunca funciona... ou nao tem na database, ou o app tem algum problema...

              Comigo aconteceu isso, mas depois notei que as roms precisam ter o mesmo nome do database, por exemplo se vc renomear a rom para outro ele não identifica e não faz o download das imagens. Tente pegar um romset e experimenta fazer o scraper delas.

              Igor Luiz Ali 1 Reply Last reply Reply Quote 0
              • Igor Luiz Ali
                Igor Luiz Ali @DAM last edited by

                @DAM é exatamente o que eu fiz... tenho um rom set completex e nao rolou... com um outro brother deu certo...

                DAM 1 Reply Last reply Reply Quote 0
                • DAM
                  DAM @Igor Luiz Ali last edited by

                  @Igor-Luiz-Ali , estranho, no post acima vc diz que nunca baixa as imagens, então pode ser a rede que tem algum bloqueio tipo proxy.

                  Comigo funciona melhor se escolho o perfil "Screen Scraper (MIX) Recalbox v4", pois a primeira opção não consigo baixar nada.

                  A sua versão do Recalbox é a 4 beta 5 ?

                  Fiz também uma alternativa, que é utilizar o fastscraper (https://forum.recalbox.com/topic/2594/batch-scrape-your-roms-on-your-pc-fastscraper), porque como meus jogos estão no pendrive eu baixo direto pelo PC é mais rápido do que pela REDE com o Recalbox ligado.

                  Igor Luiz Ali 1 Reply Last reply Reply Quote 0
                  • Igor Luiz Ali
                    Igor Luiz Ali @DAM last edited by

                    @DAM Mas neste FastScraper as imagens vem como ? somente capa ?

                    DAM 1 Reply Last reply Reply Quote 0
                    • DAM
                      DAM @Igor Luiz Ali last edited by

                      @Igor-Luiz-Ali o Fastscraper baixa somente a tela do jogo. O visual do Screen Scraper é melhor.

                      1 Reply Last reply Reply Quote 0
                      • RodsBrito
                        RodsBrito last edited by

                        Prezados preciso de ajuda...
                        Fui fazer um teste aqui com o segacd, pois tenho poucos jogos. Deletei a pasta de imagem, bem como o xml. Coloquei no programa pra fazer scrap apenas deste sistema. O programa começa buscando o xml de 76 sistemas, demorando um pouco.. é normal isso? Depois, quando aparece a última imagem do tutorial, ele não busca nada, como se não existissem roms. o que pode estar acontecendo?

                        azvarel 1 Reply Last reply Reply Quote 0
                        • azvarel
                          azvarel @RodsBrito last edited by

                          @RodsBrito o nome da rom/iso do sega cd está compativel com a lista de jogos?

                          Zodian Theme | #SNESProject

                          RodsBrito 1 Reply Last reply Reply Quote 0
                          • RodsBrito
                            RodsBrito @azvarel last edited by

                            @azvarel a rom está do jeito que peguei (planetemu). Onde confirmo essa compatibilidade de nome da rom (por favor, não me diga que é usando aquele programa que não lembro o nome rs)

                            azvarel 1 Reply Last reply Reply Quote 0
                            • azvarel
                              azvarel @RodsBrito last edited by

                              @RodsBrito https://github.com/recalbox/recalbox-gamelists/blob/master/README.md

                              Zodian Theme | #SNESProject

                              1 Reply Last reply Reply Quote 0
                              • tavareslfelipe
                                tavareslfelipe last edited by

                                Gente, alguém conhece uma forma tão prática quanto essa para fazer scrap no MACOS?

                                1 Reply Last reply Reply Quote 0
                                • WSP77
                                  WSP77 last edited by

                                  Muito bom tutorial! Pergunta: a maioria de minhas roms estão descompactadas, o XML só funciona com arquivos comprimidos?

                                  paradadf 1 Reply Last reply Reply Quote 0
                                  • paradadf
                                    paradadf Staff @WSP77 last edited by

                                    @tavareslfelipe no macOS você pode tentar com a nova versão do fastscraper.

                                    @WSP77 não depende de se a rom é comprimido ou não, mas que o hash CRC32, MD5 ou SHA1 esteja no banco de dados.

                                    https://forum.recalbox.com/topic/3842/how-to-screenscraper

                                    If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                                    1 Reply Last reply Reply Quote 0
                                    • WSP77
                                      WSP77 last edited by WSP77

                                      Valeu, @paradadf (o engraçado é que estávamos trocando ideia em inglês num outro tópico ^^). Aproveitando: sabes como fazer um controle fight pad da Mad catz, com fio, funcionar corretamente no recalbox? Minha versão do cotrole é a de xbox 360, tentei de tudo e não consegui ainda.
                                      https://forum.recalbox.com/topic/5675/problem-with-mad-catz-xbox-360-wired-controller

                                      paradadf 1 Reply Last reply Reply Quote 0
                                      • paradadf
                                        paradadf Staff @WSP77 last edited by

                                        @WSP77 não tenho idea, mas eles vão ajudá-lo. Meu Português nâo é bom, por isso prefiro responder sempre em Inglês.

                                        If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved

                                        WSP77 1 Reply Last reply Reply Quote 0
                                        • WSP77
                                          WSP77 @paradadf last edited by

                                          @paradadf Quem dera meu inglês fosse como o seu português! Obrigado mais uma vez!

                                          1 Reply Last reply Reply Quote 0
                                          • WSP77
                                            WSP77 last edited by

                                            Comigo não funcionou...
                                            Sugiro que o passo 7 seja colocado como passo 1, pois suspeito que o motivo de não ter dado certo é que já havia feito o scrape pela ferramenta nativa do emulation station, mas o aviso só veio no final do tutorial... ¬¬

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            59
                                            Online

                                            98.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.0k
                                            Posts

                                            Copyright © 2021 recalbox.com