[TUTORIAL] Como fazer scrape com o Universal XML Scraper
-
Caros,
Como alguns já sabem o processo de scrape da informações das ROMS pode ser algo extremamente trabalhoso e que demanda um bom tempo para reunir todas as informações necessárias utilizando a ferramenta padrão que vem no Recalbox.
Pensando nisso, o usuário @screech criou a ferramenta Universal XML Scraper que realiza toda a tarefa de coletar capas e metadados das ROMS num computador com Windows e transfere os arquivos diretamente para o Recalbox. As informações são coletadas a partir do nome do arquivo e também do HASH desse arquivo.
Requisitos:
- A última versão do Universal XML Scraper
- Roms em .zip ou .7z, de preferência de fullset conhecidos (No-Intro, Fullset, Tosec,...)
- Um PC com Windows
- Um Raspberry Pi com Recalbox conectado em rede
- Software PuTTY (Opicional)
Como proceder:
1) Baixe o Universal XML Scraper e salve numa pasta qualquer em seu PC com Windows
2) Abra o arquivo baixado. Durante a primeira execução ele criará algumas pastas e arquivos que servirão de auxílio para o seu funcionamento
3) Selecione um perfil de funcionamento do scraper [O padrão é o Screenscraper (Mix) -Recalbox V4]Menu "Arquivo" --> "Carregar perfil" --> Escolha do perfil --> Botão "Selecionar"
4) Defina como voce fará o scraper, existem duas formas:
Automática
Dentro do menu "Editar" terá a opção configuração automática e dentro dessa opção, terá a lista de diversos sistemas. Ao selecionar um sistema as configurações dos caminhos das pastas dentro do Recalbox, bem como os nomes de arquivos que serão utilizados para salvar o scraper serão preenchidos de forma automática.
É possível também realizar o scraper de todos os sistemas ao mesmo tempo através da opção "Scraper de todos os sistemas"
Manual
Caso teu Recalbox tenha alguma configuração fora de padrão, será necessário preencher as informações sobre as pastas das ROMS e do scraper de maneira manual. Para acessar a configuração manual é só acessar o menu "Editar" na opção "Configuração". Abaixo segue uma tela de como é o menu de fato (Prometo inserir uma figura com o menu em Português):
5) Com as configurações definidas voce poderá selecionar o modelo de imagens dos jogos, a alteração pode ser feita a partir do menu "Editar" na opção "Modificar o perfil de imagem Mix". Abaixo seguem alguns dos modelos disponíveis:
Exemplo 1:
Exemplo 2:
Exemplo 3:
6) Após as configurações é necessário encerrar o EmulationStation no Recalbox, esse processo pode ser feito com o software PuTTY entrando no console do Recalbox ou a partir do Universal XML Scraper no menu "Comandos SSH" na opção "Parar EmulationStation"
7) Caso não seja a primeira vez que está fazendo scrape, apague a pasta downloaded_images e a gamelist.xml no caminho //RECALBOX/share/roms/ da pasta do sistema selecionado para fazer scrape e então é só clicar no botão "Scrape".
Exemplo, se voce já fez scrape antes dos jogos de Super Nintendo apague a pasta downloaded_images e o arquivo gamelist.xml que estão armazenadas no caminho //RECALBOX/share/roms/snes
A barra de progresso mostrará o andamento do processo até seu término, apresentando uma pequena janela com o status de todo o processo:
Com o processo finalizado deve-se reabrir o EmulationStation através do menu "Comandos SSH" na opção "Ligar EmulationStation"9) Pronto! Acesse o sistema que voce fez o scraper e verifique os resultados!
-
@marcelo-goulart Excelente. Uma pena que já tinha feito o scrap pelo sistema, bem como scrap "na raça" das roms que faltava. Mesmo assim, achei bem interessante a opção de visualização. Acho que vou fazer um backup e testar.
Desde já, pergunto se algumas roms não localizadas no scrap padrão são baixadas, como f-zero, joe & mac e hyper street fighter II.
Abraço.
-
Quando o Scrape não é localizado, ele aparece na lista mas sem imagens ou descrições!
-
Comigo nunca baixa as imagens... queria as imagens no Mix Standard (capa, print e logo) mas nunca funciona... ou nao tem na database, ou o app tem algum problema...
-
@Igor-Luiz-Ali said in [TUTORIAL] Como fazer scrape com o Universal XML Scraper:
Comigo nunca baixa as imagens... queria as imagens no Mix Standard (capa, print e logo) mas nunca funciona... ou nao tem na database, ou o app tem algum problema...
Comigo aconteceu isso, mas depois notei que as roms precisam ter o mesmo nome do database, por exemplo se vc renomear a rom para outro ele não identifica e não faz o download das imagens. Tente pegar um romset e experimenta fazer o scraper delas.
-
@DAM é exatamente o que eu fiz... tenho um rom set completex e nao rolou... com um outro brother deu certo...
-
@Igor-Luiz-Ali , estranho, no post acima vc diz que nunca baixa as imagens, então pode ser a rede que tem algum bloqueio tipo proxy.
Comigo funciona melhor se escolho o perfil "Screen Scraper (MIX) Recalbox v4", pois a primeira opção não consigo baixar nada.
A sua versão do Recalbox é a 4 beta 5 ?
Fiz também uma alternativa, que é utilizar o fastscraper (https://forum.recalbox.com/topic/2594/batch-scrape-your-roms-on-your-pc-fastscraper), porque como meus jogos estão no pendrive eu baixo direto pelo PC é mais rápido do que pela REDE com o Recalbox ligado.
-
@DAM Mas neste FastScraper as imagens vem como ? somente capa ?
-
@Igor-Luiz-Ali o Fastscraper baixa somente a tela do jogo. O visual do Screen Scraper é melhor.
-
Prezados preciso de ajuda...
Fui fazer um teste aqui com o segacd, pois tenho poucos jogos. Deletei a pasta de imagem, bem como o xml. Coloquei no programa pra fazer scrap apenas deste sistema. O programa começa buscando o xml de 76 sistemas, demorando um pouco.. é normal isso? Depois, quando aparece a última imagem do tutorial, ele não busca nada, como se não existissem roms. o que pode estar acontecendo? -
@RodsBrito o nome da rom/iso do sega cd está compativel com a lista de jogos?
-
@azvarel a rom está do jeito que peguei (planetemu). Onde confirmo essa compatibilidade de nome da rom (por favor, não me diga que é usando aquele programa que não lembro o nome rs)
-
-
Gente, alguém conhece uma forma tão prática quanto essa para fazer scrap no MACOS?
-
Muito bom tutorial! Pergunta: a maioria de minhas roms estão descompactadas, o XML só funciona com arquivos comprimidos?
-
@tavareslfelipe no macOS você pode tentar com a nova versão do fastscraper.
@WSP77 não depende de se a rom é comprimido ou não, mas que o hash CRC32, MD5 ou SHA1 esteja no banco de dados.
-
Valeu, @paradadf (o engraçado é que estávamos trocando ideia em inglês num outro tópico ^^). Aproveitando: sabes como fazer um controle fight pad da Mad catz, com fio, funcionar corretamente no recalbox? Minha versão do cotrole é a de xbox 360, tentei de tudo e não consegui ainda.
https://forum.recalbox.com/topic/5675/problem-with-mad-catz-xbox-360-wired-controller -
@WSP77 não tenho idea, mas eles vão ajudá-lo. Meu Português nâo é bom, por isso prefiro responder sempre em Inglês.
If your question was answered, please mark it as solved: Topic Tools -> Ask a question + Topic Tools -> Mark as Solved
-
@paradadf Quem dera meu inglês fosse como o seu português! Obrigado mais uma vez!
-
Comigo não funcionou...
Sugiro que o passo 7 seja colocado como passo 1, pois suspeito que o motivo de não ter dado certo é que já havia feito o scrape pela ferramenta nativa do emulation station, mas o aviso só veio no final do tutorial... ¬¬
