Scraper extrem langsam

Nachtgarm

@pillemats Woher Du die Roms hast, tut nichts zur Sache, sondern die Namen der Roms sind entscheidend, bzw, die der ZIP Dateien. Der UXS holt sich die Daten von screenscraper.fr

Wenn es deine Spiele dort in der DB gibt, findet der UXS sie auch, sofern sie den Namen, oder den Hashwerten, oder den ZIP Namen entpsrechen. Wenn Du Arcade Spiele mit dem UXS scrapest, kann es natürlich sein, dass viele davon nicht gefunden werden, weil die Namen der Files scheiße sind.

Ich spare mir jetzt die X-te Erwähnung der Forumsregeln.

Was willst Du scrapen?
Poste ein Screenshot deiner Config im UXS
Gerne auch einen pastebin deiner UXS-config.ini
Deine recalbox Daten

Danach sprechen wir weiter

pillemats

ja ich denke das es an den namen liegen wird

ich möchte scrapen: n64, nes, snes, ms, md, mcd, 32x, atari psx

hier meine uxs config

http://abload.de/image.php?img=img_2398gkupt.jpg

(natürlich ist das beispiel nur für die md roms, sonst ist es eben der root roms ordner)

hier meine uxs ini

[GENERAL]
$verINI		= '1.5.0.11'
$RechFiles 	= '*.*|*.xml;*.txt;*.dv;*.fs;*.xor;*.drv;*.dat;*.nv;*.cue;*.sav*'
;Mask de recherche (sÈparÈ par des ';') | Mask d'exclusion (sÈparÈ par des ';')
$Verbose 	= 1
;Type de log
;0 = pas de log   1 = log standard   2 = full log
$RechSYS 	= 1
;Recherche automatique de Systeme
;0 = Fenetre de demande du nom de systeme
;1 = Recherche du nom de repertoire dans la liste de systeme + fenetre de demande si pas trouvÈ
;Par dÈfaut dans le cas d'un scrape de tous les systemes, le logiciel fera une recherche et s'il ne trouve pas fera les requetes sans nom de systeme
$RechAPI 	= 1|3|2
;Ordre de recherche de l'API
;1 = CRC + System
;2 = CRC
;3 = FileName + System
$RechMultiLang =de|eu|us|en|origine|fr|es|pt|jp|xx
;toutes modifications sur le champs ci dessus sera inutile

[PROFILS_SCRAPER]
$PROFILS_SCRAPER_1	= 'ScreenScraper-Recalbox v4'
$PROFILS_SCRAPER_2	= 'ScreenScraper (MIX)-Recalbox v4'
$PROFILS_SCRAPER_3	= 'ScreenScraper-Recalbox v3'
$PROFILS_SCRAPER_4	= 'ScreenScraper-EmulationStation'
$PROFILS_SCRAPER_5	= 'ScreenScraper-Retropie'
$PROFILS_SCRAPER_6	= 'ScreenScraper (MIX)-Retropie'


[CONNEXION]
Menu_SSH 		= 1
Plink_root		= pi
Plink_mdp		= raspberry
Plink_IP		= RECALBOX

[ScreenScraper-Recalbox v4]
$PATHAUTOCONF_PathRom		=\\RECALBOX\share\roms\
$PATHAUTOCONF_PathRomSub	=./
$PATHAUTOCONF_PathNew		=gamelist.xml
$PATHAUTOCONF_PathImage		=downloaded_images
$PATHAUTOCONF_PathImageSub	=./downloaded_images/
$ExtImage					=jpg
$OPTION_MAJ					=1
$IMAGE_SOURCE				= 'Screenscraper.jpg'
$IMAGE_CIBLE				= 'RecalboxV4.jpg'
$ELEMENT_1 		= 'gameList|root|Data|root'
$ELEMENT_2 		= 'game|child|jeu|child'
$ELEMENT_3 		= 'id|attr:game|id|value'
$ELEMENT_4 		= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 		= 'path|value|%RomPath%|variable'
$ELEMENT_6 		= 'emulator|value'
$ELEMENT_7 		= 'core|value'
$ELEMENT_8 		= 'name|value|noms/nom_%%|value'
$ELEMENT_9 		= 'name|value|nom|value'
$ELEMENT_10 	= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_11 	= 'image|path:image|medias/media_screenshot|path:image'
$ELEMENT_12 	= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'
$ELEMENT_13		= 'thumbnail|value'
$ELEMENT_14		= 'rating|value100|note|value'
$ELEMENT_15		= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_16		= 'developer|value|developpeur|value'
$ELEMENT_17		= 'publisher|value|editeur|value'
$ELEMENT_18		= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_19		= 'players|value|joueurs|value'
$ELEMENT_20		= 'favorite|value'
$ELEMENT_21		= 'region|value'
$ELEMENT_22		= 'romtype|value'
$ELEMENT_23		= 'hidden|value'
$ELEMENT_24		= 'playcount|value'
$ELEMENT_25		= 'lastplayed|value'
$ELEMENT_26		= 'crc32|value|%crc32%|variable'
$ELEMENT_27		= 'md5|value|%md5%|variable'
$ELEMENT_28		= 'sha1|value|%sha1%|variable'

[ScreenScraper (MIX)-Recalbox v4]
$PATHAUTOCONF_PathRom		=\\RECALBOX\share\roms
$PATHAUTOCONF_PathRomSub	=./
$PATHAUTOCONF_PathNew		=gamelist.xml
$PATHAUTOCONF_PathImage		=downloaded_images
$PATHAUTOCONF_PathImageSub	=./downloaded_images/
$ExtImage					=png
$OPTION_MAJ					=1
$IMAGE_SOURCE				= 'Screenscraper (MIX).jpg'
$IMAGE_CIBLE				= 'RecalboxV4.jpg'
$ELEMENT_1 		= 'gameList|root|Data|root'
$ELEMENT_2 		= 'game|child|jeu|child'
$ELEMENT_3 		= 'id|attr:game|id|value'
$ELEMENT_4 		= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 		= 'path|value|%RomPath%|variable'
$ELEMENT_6 		= 'emulator|value'
$ELEMENT_7 		= 'core|value'
$ELEMENT_8 		= 'name|value|noms/nom_%%|value'
$ELEMENT_9 		= 'name|value|nom|value'
$ELEMENT_10 	= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_11 	= 'image|path:image|%mix_image%|variable'
$ELEMENT_12		= 'thumbnail|value'
$ELEMENT_13		= 'rating|value100|note|value'
$ELEMENT_14		= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_15		= 'developer|value|developpeur|value'
$ELEMENT_16		= 'publisher|value|editeur|value'
$ELEMENT_17		= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_18		= 'players|value|joueurs|value'
$ELEMENT_19		= 'favorite|value'
$ELEMENT_20		= 'region|value'
$ELEMENT_21		= 'romtype|value'
$ELEMENT_22		= 'hidden|value'
$ELEMENT_23		= 'playcount|value'
$ELEMENT_24		= 'lastplayed|value'
$ELEMENT_25		= 'crc32|value|%crc32%|variable'
$ELEMENT_26		= 'md5|value|%md5%|variable'
$ELEMENT_27		= 'sha1|value|%sha1%|variable'

[ScreenScraper-Recalbox v3]
$PATHAUTOCONF_PathRom		=\\RECALBOX\roms
$PATHAUTOCONF_PathRomSub	=./
$PATHAUTOCONF_PathNew		=gamelist.xml
$PATHAUTOCONF_PathImage		=downloaded_images
$PATHAUTOCONF_PathImageSub	=./downloaded_images/
$ExtImage					=jpg
$OPTION_MAJ					=1
$IMAGE_SOURCE				= 'Screenscraper.jpg'
$IMAGE_CIBLE				= 'RecalboxV3.jpg'
$ELEMENT_1 		= 'gameList|root|Data|root'
$ELEMENT_2 		= 'game|child|jeu|child'
$ELEMENT_3 		= 'id|attr:game|id|value'
$ELEMENT_4 		= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 		= 'path|value|%RomPath%|variable'
$ELEMENT_6 		= 'name|value|noms/nom_%%|value'
$ELEMENT_7 		= 'name|value|nom|value'
$ELEMENT_8 		= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_9		= 'image|value|medias/media_screenshot|path:image'
$ELEMENT_10 	= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'
$ELEMENT_11		= 'thumbnail|value'
$ELEMENT_12		= 'rating|value100|note|value'
$ELEMENT_13		= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_14		= 'developer|value|developpeur|value'
$ELEMENT_15		= 'publisher|value|editeur|value'
$ELEMENT_16		= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_17		= 'players|value|joueurs|value'
$ELEMENT_18		= 'playcount|value'
$ELEMENT_19		= 'lastplayed|value'
$ELEMENT_20		= 'crc32|value|%crc32%|variable'
$ELEMENT_21		= 'md5|value|%md5%|variable'
$ELEMENT_22		= 'sha1|value|%sha1%|variable'

[ScreenScraper-EmulationStation]
$PATHAUTOCONF_PathRom		=
$PATHAUTOCONF_PathRomSub	=
$PATHAUTOCONF_PathNew		=
$PATHAUTOCONF_PathImage		=
$PATHAUTOCONF_PathImageSub	=
$ExtImage					=
$OPTION_MAJ					=0
$IMAGE_SOURCE				= 'Screenscraper.jpg'
$IMAGE_CIBLE				= 'Emulationstation.jpg'
$ELEMENT_1 		= 'gameList|root|Data|root'
$ELEMENT_2 		= 'game|child|jeu|child'
$ELEMENT_3 		= 'id|attr:game|id|value'
$ELEMENT_4 		= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 		= 'path|value|%RomPath%|variable'
$ELEMENT_6 		= 'name|value|noms/nom_%%|value'
$ELEMENT_7 		= 'name|value|nom|value'
$ELEMENT_8 		= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_9		= 'image|path:image|medias/media_screenshot|path:image'
$ELEMENT_10 	= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'
$ELEMENT_11		= 'thumbnail|value'
$ELEMENT_12		= 'rating|value100|note|value'
$ELEMENT_13		= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_14		= 'developer|value|developpeur|value'
$ELEMENT_15		= 'publisher|value|editeur|value'
$ELEMENT_16		= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_17		= 'players|value|joueurs|value'
$ELEMENT_18		= 'playcount|value'
$ELEMENT_19		= 'lastplayed|value'
$ELEMENT_20		= 'crc32|value|%crc32%|variable'
$ELEMENT_21		= 'md5|value|%md5%|variable'
$ELEMENT_22		= 'sha1|value|%sha1%|variable'


[ScreenScraper-Retropie]
$PATHAUTOCONF_PathRom		=\\retropie\roms
$PATHAUTOCONF_PathRomSub	=./
$PATHAUTOCONF_PathNew		=gamelist.xml
$PATHAUTOCONF_PathImage		=downloaded_images
$PATHAUTOCONF_PathImageSub	=./downloaded_images/
$ExtImage					=jpg
$OPTION_MAJ					=1
$IMAGE_SOURCE				= 'Screenscraper.jpg'
$IMAGE_CIBLE				= 'Retropie.jpg'
$ELEMENT_1 		= 'gameList|root|Data|root'
$ELEMENT_2 		= 'game|child|jeu|child'
$ELEMENT_3 		= 'id|attr:game|id|value'
$ELEMENT_4 		= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 		= 'path|value|%RomPath%|variable'
$ELEMENT_6 		= 'emulator|value'
$ELEMENT_7 		= 'core|value'
$ELEMENT_8 		= 'name|value|noms/nom_%%|value'
$ELEMENT_9 		= 'name|value|nom|value'
$ELEMENT_10 	= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_11 	= 'image|path:image|medias/media_screenshot|path:image'
$ELEMENT_12 	= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'
$ELEMENT_13		= 'thumbnail|value'
$ELEMENT_14		= 'rating|value100|note|value'
$ELEMENT_15		= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_16		= 'developer|value|developpeur|value'
$ELEMENT_17		= 'publisher|value|editeur|value'
$ELEMENT_18		= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_19		= 'players|value|joueurs|value'
$ELEMENT_20		= 'favorite|value'
$ELEMENT_21		= 'region|value'
$ELEMENT_22		= 'romtype|value'
$ELEMENT_23		= 'hidden|value'
$ELEMENT_24		= 'playcount|value'
$ELEMENT_25		= 'lastplayed|value'
$ELEMENT_26		= 'crc32|value|%crc32%|variable'
$ELEMENT_27		= 'md5|value|%md5%|variable'
$ELEMENT_28		= 'sha1|value|%sha1%|variable'

[ScreenScraper (MIX)-Retropie]
$PATHAUTOCONF_PathRom		=\\retropie\roms
$PATHAUTOCONF_PathRomSub	=./
$PATHAUTOCONF_PathNew		=gamelist.xml
$PATHAUTOCONF_PathImage		=downloaded_images
$PATHAUTOCONF_PathImageSub	=./downloaded_images/
$ExtImage					=png
$OPTION_MAJ					=1
$IMAGE_SOURCE				= 'Screenscraper (MIX).jpg'
$IMAGE_CIBLE				= 'Retropie.jpg'
$ELEMENT_1 		= 'gameList|root|Data|root'
$ELEMENT_2 		= 'game|child|jeu|child'
$ELEMENT_3 		= 'id|attr:game|id|value'
$ELEMENT_4 		= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 		= 'path|value|%RomPath%|variable'
$ELEMENT_6 		= 'emulator|value'
$ELEMENT_7 		= 'core|value'
$ELEMENT_8 		= 'name|value|noms/nom_%%|value'
$ELEMENT_9 		= 'name|value|nom|value'
$ELEMENT_10 	= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_11 	= 'image|path:image|%mix_image%|variable'
$ELEMENT_12		= 'thumbnail|value'
$ELEMENT_13		= 'rating|value100|note|value'
$ELEMENT_14		= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_15		= 'developer|value|developpeur|value'
$ELEMENT_16		= 'publisher|value|editeur|value'
$ELEMENT_17		= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_18		= 'players|value|joueurs|value'
$ELEMENT_19		= 'favorite|value'
$ELEMENT_20		= 'region|value'
$ELEMENT_21		= 'romtype|value'
$ELEMENT_22		= 'hidden|value'
$ELEMENT_23		= 'playcount|value'
$ELEMENT_24		= 'lastplayed|value'
$ELEMENT_25		= 'crc32|value|%crc32%|variable'
$ELEMENT_26		= 'md5|value|%md5%|variable'
$ELEMENT_27		= 'sha1|value|%sha1%|variable'

[LAST_USE]
$PathRom		=\\RECALBOX\share\roms\megadrive\
$PathRomSub		=./
$PathNew		=\\RECALBOX\share\roms\megadrive\gamelist.xml
$PathImage		=\\RECALBOX\share\roms\megadrive\downloaded_images\
$PathImageSub	=./downloaded_images/
$No_Profil		=2
$user_lang		=0407
$HauteurImage	=
$LargeurImage	=
$EmptyRom		=0
$ScrapeMode		=0
$Autoconf_Use	=1
$MixImage		=Standard (4img)  By Supernature2k
$Picture_Region	=1

recalbox habe ich standartmäßig nach dieser anleitung installiert:

http://powerpi.de/die-bessere-retropie-alternative-so-installierst-du-recalboxos-auf-deinem-raspberry-pi-2/

was mirt aufgefallen ist das er anscheinend alle roms findet, die keine sonderzeichen haben
zb: findet er

Sonic the Hedgehog

aber er findet nicht

Sonic the Hedgehog (E)

ich kann doch jetzt nicht wirklich alle roms umbenenen oder ??

EDIT: wenn ich den stock scraper teste über mamedb geht er alle roms durch und sagt "we cant find any systems"

also irgendwas stimmt doch da gewaltig nicht

screech

Hi, I don't know if you can read english, but I'll try to answer you

You have the "RETROPIE" version please try with the "standard" version

V1.5.0.11 (not the retropie one)

Sorry for this problem I had make a special version for Retropie Users to test with some minor change...

I'm working on a V2 much more quick/simplier to use It will be release soon ^^ (I hope next month ^^)

pillemats

hey screech thanks for your tip

i will try this version
i hope so this version can find all my roms and only 20 of 1300

screech

an other tip :

this how UXS Work :

It Hash your file to found a corresponding Rom on the Screenscraper DB
If not found, it take the filename of your rom and try to match with the rom filename on th DB.

If you compress or have "exotic" rom, if you rename your file, it may not found them.

With the Screenscraper stats I can see we have about 80% matching request form UXS. so 20 on 1300 is a very low rate...

to check why it's not found, check the missing.txt file when the scrape is done. Look in it, you will have the rom filename and CRC. Go to Screenscraper and found the corresponding game. You can see all the referenced rom and look if yours is in the list. (By filename without extension match OR CRC match) If nothing match, so it's normal. If something match, there is a real problem

pillemats

i have tested the other version now but it is the same problem.
it will find only 20 roms. so exactly the same as befor.

the ridiculous is that the missing.txt is completly empty

EDIT: Sorry i think i do a mistake. i have seen that in the configs "expand existing xml" was marked.... so now i try it with a new xml version and now i think its work because the scraping takes a lot longer then before

screech

Arg :S

You can test you CRC with software like : http://ffulgore.free.fr/site/f-crc/fr/

One more thing, are you in "appen mode" or in "new XML file mode" ?

I really think it's your romset that is strange :S

pillemats

@screech

i have edited my last reply

by the way: do you have a mac version of the scapper ?

screech

Sorry not... I make UXS with Autoit language, only on windows

(Great if it's working )

pillemats

@screech

it is not working :-((( it is the same problem

now i will delete all the roms an put an new copy from it into the folder and than i try again

pillemats

I do not know what I should still make it to work

Nachtgarm

@pillemats

Mach bitte folgendes:

Lösche dein UXS Verzeichnis
Lade Dir den richtigen UXS herunter 32 Bit, oder 64 bit
Schalte deine recalbox ein und stelle sicher, dass Du mit der box online bist
Erstelle ein neues Verzeichnis (UXS, oder wie auch immer Du das nennen willst) auf deinem Windows Rechner
Schiebe die eben heruntergeladene Datei dort hinein
Starte den UXS
Wähle deine Sprache
Wähle dein Profil (am besten Recalbox V4, oder Recalbox Mix V4)
Bestätige die Frage nach der automatischen Konfiguration mit JA
Sobald das Tool zu sehen ist, gehst Du auf "Bearbeiten -> Konfiguration" und stellst folgendes ein
Mit Speichern bestätigen
Gehe dann auf "Bearbeiten -> Autotmatische Konfiguration -> snes" (nur für das Beispiel hier)
Starte den Scrape mit dem grünen Pfeil
Berichte erneut

Zu deiner Aussage:

EDIT: wenn ich den stock scraper teste über mamedb geht er alle roms durch und sagt "we cant find any systems"
also irgendwas stimmt doch da gewaltig nicht

Das KANN nicht funktionieren, wenn Du versuchst bspw. SNES mit der MAMEDB abzugleichen. Der Name MAMEDB sagt doch schon Alles, oder? MAMEDB = MAME DATABASE = Nur für MAME Spiele!

screech

@pillemats The last thing I can see is your romset that isn't so good.

Try with a "No-Intro" Rom set.

and try a fresh UXS install like @Nachtgarm says.

Nachtgarm

@screech A No-Intro Romset is not necessarily needed. Especially not for console games. TOSEC, GoodTools, etc would work as well, basically any rom will work, if it's not named like sth2.zip = Sonic The Hedgehog 2 But that's another topic for a different thread

pillemats

ich danke euch vielmals !

ich habe es jetzt nochmal angeschmissen und werde heute abend berichten....

es dauert mit deinen einstellungen @nachtgarm auf jeden fall schonmal viel viel länger beim scrapen

Nachtgarm

@pillemats Das liegt nicht an den Einstellungen. "Meine" Einstellungen sind die Standards und sorgen dafür, dass keine unnötigen XML Dateien in Verzeichnissen angelegt werden, wo sich nicht hingehören (wie bei Dir in /share/roms)

Hast Du Windows in Wine laufen, oder auf nem Rechner?

Du hast hoffentlich diese Mal daran gedacht, via SSH Befehle EmulationStation zu Beenden, oder?

pillemats

natürlich ich habe es vorher beendet.

mein windows läuft auf einem extra notebook....

er hat jetzt 81 von 315 gamegear roms gefunden.... wieder genau die , wo nichts anderes in der datei steht als der name....

das ist doch irgendwie komisch.

sollte ich mal roms von einer anderen seite testen ? meinst du das bringt was ? wenn ja wo sollte ich sie herholen ?

soetwas zb findet er: Columns (J).gg
und sowas nicht: Chuck Rock (U) [t1].gg

Nachtgarm

@pillemats

FORUM REGELN:
Fragt NICHT nach Links zu BIOS Dateien und posted auch KEINE Links zu BIOS Dateien!
Fragt NICHT nach Links zu ROMS und posted auch KEINE Links zu ROMS!

Das ist das allerletzte Mal, dass ich das erwähne!

Warum sind deine Roms entpackt? Lass Die als ZIP Files, dann findet der auch mehr (wahrscheinlich).
wenn Du gelesen hättest, was screech geschrieben hat, wüsstest Du, dass ein einziger Blick auf Screenscraper.fr gereicht hätte, um zu sehen, warum er deine Version des Spiels "Chuck Rock" nicht findet!

Zitat screech:

Go to Screenscraper and found (*find) the corresponding game. You can see all the referenced rom[s] and look if yours is in the list

Antwort: LINK

pillemats

@Nachtgarm

Stimmt hatte ich gelesen sorry

Wenn ich die Roms als zip lass muss ich sie aber trotzdem entpacken damit der Emulator sie findet oder?

paradadf

@pillemats nein, eben nicht. Innerhalb jedes Ordners findest du ein _readme.txt, die die erlaubten Dateiendungen nennt. Da sind auch weitere wichtige Informationen vorhanden. Deswegen am Besten erstmal alles lesen, bevor man fragt.
Lies auch den [How to] Screenscraper auf Englisch im Readme first Bereich, damit du weißt, was du machen kannst, wenn nur wenige Roms beim scrapen gefunden werden.

Edit: Link zum how to:
https://forum.recalbox.com/topic/3842/how-to-screenscraper
Punkt 14 ist für dich besonders interesant.

Unsolved Scraper extrem langsam

Want to support us ?

71
Online

99.6k
Users

28.1k
Topics

187.1k
Posts

Unsolved Scraper extrem langsam

Want to support us ?

71Online

99.6kUsers

28.1kTopics

187.1kPosts

71
Online

99.6k
Users

28.1k
Topics

187.1k
Posts