[Tool] Universal XML Scraper (Deutsch)

[pfeilomatic]

@screech 100Mbits. I don't have much to scrape

[VanDutch]

Hallo,

ein wirklich klasse Tool! Bei mir klappt fast alles, nur die PSX Spiele will er nicht scrapen. Hängt sich jedesmal auf bei "Hole Systemliste". Greife direkt auf die Recalbox zu übers Netzwerk. Habe bei "Erweitert" auch die *.bin raus genommen, klappt trotzdem nicht.
Hat jemand eine Idee dazu?

Danke!

[Nachtgarm]

@VanDutch Frag mal @screech, den Autor der Software, direkt im eigentlichen Thread (Englisch & Französisch)

[K01WE]

Sehe ich das eigentlich richtig, dass das Tool in den normalen Einstellungen, immer nur einen Screenshot des jeweiligen Spiels runterlädt? Weil der Scraper der Recalbox holt doch immer das Cover. Das wäre mir ehrlich gesagt auch lieber. Gibt es diese Einstellung im XML Scraper? Vielen Dank.
Ansonsten muss ich aber echt sagen "Geiles, kleines Tool!" ^^

[Nachtgarm]

@K01WE Da Du Dir deine Antwort schon von Screech geholt hast, poste ich die nochmal hier, damit alle Anderen es auch wissen:

In der UXS-config.ini sucht man folgende Zeilen

$ELEMENT_11 = 'image|path:image|medias/media_screenshot|path:image'
$ELEMENT_12 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'

ELEMENT_11: Lade Sreenshot herunter
ELEMENT_12 : wenn kein Screenshot gefunden, dann 2D Artwork herunterladen

Wenn man nun also NUR 2D Artworks (Cover) haben möchte, löscht man einfach die ganze Zeile mit ELEMENT_11 und nummeriert dann ALLE Zeilen in der UXS-config.ini neu, so dass es wieder eine ununterbrochene Abfolge ist:

$ELEMENT_1 	= 'gameList|root|Data|root'
$ELEMENT_2 	= 'game|child|jeu|child'
$ELEMENT_3 	= 'id|attr:game|id|value'
$ELEMENT_4 	= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 	= 'path|value|%RomPath%|variable'
$ELEMENT_6 	= 'emulator|value'
$ELEMENT_7 	= 'core|value'
$ELEMENT_8 	= 'name|value|noms/nom_%%|value'
$ELEMENT_9 	= 'name|value|nom|value'
$ELEMENT_10 	= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_11 	= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'
$ELEMENT_12	= 'thumbnail|value'
$ELEMENT_13	= 'rating|value100|note|value'
$ELEMENT_14	= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_15	= 'developer|value|developpeur|value'
$ELEMENT_16	= 'publisher|value|editeur|value'
$ELEMENT_17	= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_18	= 'players|value|joueurs|value'
$ELEMENT_19	= 'favorite|value'
$ELEMENT_20	= 'region|value'
$ELEMENT_21	= 'romtype|value'
$ELEMENT_22	= 'hidden|value'
$ELEMENT_23	= 'playcount|value'
$ELEMENT_24	= 'lastplayed|value'
$ELEMENT_25	= 'crc32|value|%crc32%|variable'
$ELEMENT_26	= 'md5|value|%md5%|variable'
$ELEMENT_27	= 'sha1|value|%sha1%|variable'

[Madmeggo]

In wie weit kann man denn die "Trefferquote" des Scrapers beeinflussen? Von meinen 243 NES-Spielen wurden beispielsweise gerade mal 17 erkannt

Edit: Ansonsten ein Mega tool! Die Mix-Bilder sind der Wahnsinn! Nur leider halt zu wenige davon

[paradadf]

Die Trefferquote hängt davon ab, wie "exotisch" deine Roms sind. Empfohlen sind no-intro Romsets, da diese meistens in der Datenbank (www.screenscraper.fr) bereits hinzugefügt wurden. Wenn du aber deine missing.txt irgendwo hochlädst und hier teilst, kann ich diese hinzufügen. Gegebenfalls musst du aber diese Roms zu den verschiedenen Spielen manuell assozieren (wenn eben die Roms wegen des "komischen" Names durch das System nicht ein Spiel eindeutig zugeordnet werden konnte).

[Madmeggo]

Erstmal vielen Dank für die schnelle Antwort!

Und Zweitens: Oh je. Ich glaube ich muss mich mit dem Thema Roms mal etwas genauer auseinandersetzen...
Ich habe so gar keinen Plan was "no-intro", "no header" usw. bedeutet.
Ich bin ja schon froh dass ich mit Hilfe vom Rom Hasher einige Roms selbst patchen (zwecks Übersetzung von Jap.) konnte.
Komische Namen haben die alle nicht. Ich habe sogar in akribischer Kleinarbeit die meisten Namen angepasst, da ich es nicht ausstehen kann, wenn dahinter Regionsangaben o.Ä. stehen.
Aber ich denke mal dass der "Name" den du meinst "IN" der Rom selbst steckt oder?

Vll finde ich ja irgendwo no-intro Romsets aus denen ich mir meine eben wieder rauspicken muss. Und für die übersetzten müssen dann halt die Originale her halten, und werden anschließend überschrieben...

Gibt es nicht die Möglichkeit nach dem Dateinamen selbst suchen zu lassen? Sozusagen als Alternative. Mit dem "sselph scraper + fastscraper" funktioniert das wunderbar (auch wenn da auch nicht alles ein Treffer ist), aber da sind die Bilder nunmal nich annähernd so toll wie mit dem Tool hier

Wo finde ich denn die missing.txt ? Vll ist es zu spät, aber ich finde sie grad nicht...

[paradadf]

@Madmeggo nein, der Name steht (nicht unbedingt) im Rom drin. UXS sucht (ich glaube sogar standardmäßig) zuerst nach dem CRC Hash und dann, wenn kein Treffer gefunden wurde, nach dem Dateinamen. Deswegen war die manuelle Änderung dieser wahrscheinlich umsonst. Wenn du aber ein Rom "patchs", dann wird der Hash geändert und dieser neuer Hash ist in deinem Fall nicht unbedingt in der Datenbank. Falls die ursprüngliche Datei doch in der Datenbank war, hast du aber sie bei der Umbenennung (und dem Patch) so modifiziert, dass er für den Scraper nicht bekannt ist.
Meine Empfehlung wäre, no-intro Romsets zu bevorzügen UND die Dateinamen NICHT zu verändern. Falls durch den Patch einen Zusatz kommt (zB. T-Eng), lass ihn einfach, scrap nochmal und finde die missing.txt neben deinen Roms. Teile die hier und die werden hinzugefügt.

[Madmeggo]

Alles klar. Es kostet mich zwar etwas Überwindung, aber ich werde die Dateinamen in Zukunft so lassen wie sie sind Ich werde jetzt meine jetzigen Roms durch Dateien aus No-Intro Sets ersetzen, und den Scraper dann nochmal laufen lassen. Die gepatchten kommen dann nach dem Scrapen - mit ihrem originalen Namen - rein. Wenn dann noch was fehlt, werde ich die missing.txt hier posten!
Danke nochmal

Edit: .zip Dateien sind aber kein Problem, oder?

[paradadf]

.zip Dateien sind kein Problem
Nur sselph's scraper berechnet die Hash nicht für die .zip, sondern für die entpackte Datei. Also, wenn du diese auch zur Datenbank hinzufügen möchtest, sollst du die Dateien entpacken, die zips beibehalten und alles scrapen. Nach dem die fehlende Dateien in der Datenbank sind, muss UXS noch einmal drauf, so dass diese die SHA1 Hash bekommen und erst dann können die problemlos auch mit sselph's scraper "gescrapt" werden. Umständlich aber so ist es halt.
Und über die "schrecklichen" Namen... nach dem Scrapen siehst du nur die schönen Namen

[starmagoo]

Gibt es eine Art Beispiel-Konfiguration?
Ich bekomme immer die Fehlermeldung "AutoConfig des ROM-Pfades ungültig".
Versuche Bilder zu Scrappen für das MIX Theme von @Nachtgarm . Thx

EDIT:
Hat sich erledigt, hab es hinbekommen
Fehlermeldung kommt trotzdem immer wieder.

lg

[Madmeggo]

@paradadf : Hat jetzt etwas länger gedauert, aber ich habe deine Anweisungen befolgt und bin wirklich überwältigt von dem Ergebnis! Hat fast alles wunderbar funktioniert
Allerdings habe ich wieder keine missing.txt gefunden. Habe auch im Win Explorer nach ihr gesucht, aber keine Chance. Hab ich irgendwas falsch gemacht? Wo soll sie denn genau sein?

Und was leider auch nicht funktioniert hat, ist die Verknüpfung von Bildern und Infos mit Arcade-Spielen. Der Scraper hat zwar für so gut wie jedes Spiel ein Bild erstellt, allerdings sehe ich in der Recalbox selbst nichts davon. Nur die Bios Dateien (pgm.zip, neogeo.zip usw.) wurden mit ihren Bildern verknüpft.
Die Spiele im Scummvm Ordner wurden scheinbar komplett ignoriert, obwohl ich mir die .rar Datei aus diesem Thread hier geladen, und die entsprechenden Dateien in die Spieleordner eingefügt habe. Vll hab ich da aber auch was falsch verstanden. Die Anleitung ist durch das fehlerhafte englisch in dem Post nämlich leider nicht 100 %ig verständlich.

Könntest du - oder irgendwer anders - mir nochmal helfen?

[paradadf]

@Madmeggo die missing.txt erscheint in den jeweiligen Rom-Ordner, also bswp. roms/snes/missing.txt (beim fastscraper übrigens wäre _snes_missing.txt).

Wie scrapst du genau? Direkt über den Netzwerk? Oder hast du alle Roms in deinem PC und kopierst du die gamelists und downloaded_images rüber? Du musst IMMER ES stoppen, bevor du scrapst oder die gamelist.xml rüberkopierst.

Bei ScummVM (bis UXS v2 raus ist) musst du jedes einzelne Ordner wählen, weil UXS noch nicht auf Unter-Ordner zugriff hat.

[Madmeggo]

@paradadf Ich Scrape über das Netzwerk. Natürlich ohne ES zu stoppen. Dann wird das wohl der Fehler gewesen sein? Habe nämlich eben gesehen dass die meisten CD basierten Spiele auch nicht mit ihren Bildern verknüpft wurden.
ES kann ich ja einfach über das Tool stoppen wenn ich das richtig sehe? Hab mich schon gefragt wozu die Option da ist.. Jetzt weiß ich es ja

Wie sieht das denn dann mit der Konfiguration aus? Welche Ordner muss ich in der Linken Hälfte denn angeben? Besonders der XML Dateipfad (zweite Option, linke Seite) irritiert mich.
Da hab ich einfach \\RECALBOX\share\roms\cavestory\gamelist.xml beim letzten mal angegeben. Und der Rest war genauso wie auf der rechten Hälfte.
und wenn ich jetzt eh nochmal Scrapen muss: Kann ich verhindern dass der Scraper mir Bewertungen mit einfügt, indem ich folgende Zeile in der .ini lösche

$ELEMENT_13 = 'rating|value100|note|value'

und dann nach unten hin wieder korrekt durchnummeriere? (@Nachtgarm hatte oben schonmal was in der Richtung gepostet)

Entschuldige bitte meine Fragerei, aber die Dokumentation zur Recalbox und Tools ist manchmal etwas dürftig... oder auf französisch
Und da das Scrapen lange dauert, will ichs dann jetzt auch möglichst richtig machen

[paradadf]

@Madmeggo erstmal zur Doku... das ist ein Community-Projekt.. also DU kannst helfen, wie viele andere das machen.

Du kannst ES über das Tool stoppen und wieder starten, dafür ist die Option ja da.

Zur Konfiguration... Ich habe noch nie weder die Auto. Konf. benutzt, noch über das Netzwerk gescrapt. Du kannst alles über die linke Hälfte machen (Checkbox auf der rechten Seite nicht vergessen).
Wie ICH es mache (Beispiel für SNES für Scrapen über den Netzwerk):
ROM-Pfad zum Scrapen:
Auf [...] drücken und den Ordner \\RECALBOX\share\roms\snes auswählen.
XML Dateipfad:
Auf [...] drücken und dann direkt wieder auf Speichern drücken. Der Pfad stellt sich automatisch nachdem du die Linie davor eingestellt hast. Jedenfalls, die gamelist.xml muss IMMER im Ordner \\RECALBOX\share\roms\snes stehen, nicht im einem Subordner davon (wichtig für ScummVM).
ROM-Pfad in XML Datei:
So lassen, wie es ist. Also einfach ./
Pfad für heruntergeladene Bilder:
Auf [...] drücken und dann direkt wieder auf Speichern/Ordner auswählen drücken. Der Pfad stellt sich automatisch wie folgt:
\\RECALBOX\share\roms\snes\
Dann füge ich am Ende noch downloaded_images hinzu, so dass
\\RECALBOX\share\roms\snes\downloaded_images bleibt.
Bilderpfad in XML Datei:
So lassen, wie es ist. Also ./downloaded_images/

Für das Verhindern der Bewerung müsste das so stimmen.

Wenn du was scrapst und etwas fehlt, alle relevante Infos findest du hier:
https://forum.recalbox.com/topic/3842/how-to-screenscraper

[Madmeggo]

@paradadf Das mit der Doku war garnicht böse gemeint, sondern mit einem Lächeln und zwinkern. Und ich hab das gesagt weil ich ein "schlechtes Gewissen" hab dass ich so viele Fragen stelle

Den Link werd ich mir zu Gemüte führen! Habe mich auch auf screenscraper.fr angemeldet, um bei der ganzen Sache mitzuhelfen. Zum Übersetzen sollte mein englsich ausreichen.

Nochmal: Ich bewundere das Projekt Recalbox und die ganzen Tools, Themes, Anleitungen usw. Das mit der Dokumentation war wirklich nicht böse gemeint!
Und zu guter letzt dir auch nochmal ein großes Danke!
Vll hilft das ganze hin und her ja auch anderen die hier in dem Thread landen

[paradadf]

@Madmeggo mein Kommentar war auch nicht böse gemeint. Entschuldige, wenn das sich so "angehört" hat.

Un beim ScreenScraper gibt es noch ganz viel zu tun. Beschreibungen, Box Arts, Screenshots, etc.

[Madmeggo]

@paradadf Na dann ist ja alles paletti
Ich helfe gern! Und mir bringt es ja auch was, wenn ich beispielsweise mit den nicht erkannten Inhalten anfange, oder sie ergänze

[paradadf]

@Madmeggo noch eine Sache... habe gerade die Auto. Konf. ausprobiert. Wenn du auf der rechten Seite deine Rom-Pfad wählst, bswp.: \\RECALBOX\share\roms\ und die Einstellungen speicherst, das nächste Mal, wenn du auf Bearbeiten gehst, erscheinen neue Menüeinträge, und du kannst entweder direkt deine Systeme einzeln wählen oder alles auf einmal scrapen. Nützlich!!! Aber bei Unterordnern funktioniert das noch nicht.