[Tool] Universal XML Scraper (Deutsch)

[paradadf]

.zip Dateien sind kein Problem
Nur sselph's scraper berechnet die Hash nicht für die .zip, sondern für die entpackte Datei. Also, wenn du diese auch zur Datenbank hinzufügen möchtest, sollst du die Dateien entpacken, die zips beibehalten und alles scrapen. Nach dem die fehlende Dateien in der Datenbank sind, muss UXS noch einmal drauf, so dass diese die SHA1 Hash bekommen und erst dann können die problemlos auch mit sselph's scraper "gescrapt" werden. Umständlich aber so ist es halt.
Und über die "schrecklichen" Namen... nach dem Scrapen siehst du nur die schönen Namen

[starmagoo]

Gibt es eine Art Beispiel-Konfiguration?
Ich bekomme immer die Fehlermeldung "AutoConfig des ROM-Pfades ungültig".
Versuche Bilder zu Scrappen für das MIX Theme von @Nachtgarm . Thx

EDIT:
Hat sich erledigt, hab es hinbekommen
Fehlermeldung kommt trotzdem immer wieder.

lg

[Madmeggo]

@paradadf : Hat jetzt etwas länger gedauert, aber ich habe deine Anweisungen befolgt und bin wirklich überwältigt von dem Ergebnis! Hat fast alles wunderbar funktioniert
Allerdings habe ich wieder keine missing.txt gefunden. Habe auch im Win Explorer nach ihr gesucht, aber keine Chance. Hab ich irgendwas falsch gemacht? Wo soll sie denn genau sein?

Und was leider auch nicht funktioniert hat, ist die Verknüpfung von Bildern und Infos mit Arcade-Spielen. Der Scraper hat zwar für so gut wie jedes Spiel ein Bild erstellt, allerdings sehe ich in der Recalbox selbst nichts davon. Nur die Bios Dateien (pgm.zip, neogeo.zip usw.) wurden mit ihren Bildern verknüpft.
Die Spiele im Scummvm Ordner wurden scheinbar komplett ignoriert, obwohl ich mir die .rar Datei aus diesem Thread hier geladen, und die entsprechenden Dateien in die Spieleordner eingefügt habe. Vll hab ich da aber auch was falsch verstanden. Die Anleitung ist durch das fehlerhafte englisch in dem Post nämlich leider nicht 100 %ig verständlich.

Könntest du - oder irgendwer anders - mir nochmal helfen?

[paradadf]

@Madmeggo die missing.txt erscheint in den jeweiligen Rom-Ordner, also bswp. roms/snes/missing.txt (beim fastscraper übrigens wäre _snes_missing.txt).

Wie scrapst du genau? Direkt über den Netzwerk? Oder hast du alle Roms in deinem PC und kopierst du die gamelists und downloaded_images rüber? Du musst IMMER ES stoppen, bevor du scrapst oder die gamelist.xml rüberkopierst.

Bei ScummVM (bis UXS v2 raus ist) musst du jedes einzelne Ordner wählen, weil UXS noch nicht auf Unter-Ordner zugriff hat.

[Madmeggo]

@paradadf Ich Scrape über das Netzwerk. Natürlich ohne ES zu stoppen. Dann wird das wohl der Fehler gewesen sein? Habe nämlich eben gesehen dass die meisten CD basierten Spiele auch nicht mit ihren Bildern verknüpft wurden.
ES kann ich ja einfach über das Tool stoppen wenn ich das richtig sehe? Hab mich schon gefragt wozu die Option da ist.. Jetzt weiß ich es ja

Wie sieht das denn dann mit der Konfiguration aus? Welche Ordner muss ich in der Linken Hälfte denn angeben? Besonders der XML Dateipfad (zweite Option, linke Seite) irritiert mich.
Da hab ich einfach \\RECALBOX\share\roms\cavestory\gamelist.xml beim letzten mal angegeben. Und der Rest war genauso wie auf der rechten Hälfte.
und wenn ich jetzt eh nochmal Scrapen muss: Kann ich verhindern dass der Scraper mir Bewertungen mit einfügt, indem ich folgende Zeile in der .ini lösche

$ELEMENT_13 = 'rating|value100|note|value'

und dann nach unten hin wieder korrekt durchnummeriere? (@Nachtgarm hatte oben schonmal was in der Richtung gepostet)

Entschuldige bitte meine Fragerei, aber die Dokumentation zur Recalbox und Tools ist manchmal etwas dürftig... oder auf französisch
Und da das Scrapen lange dauert, will ichs dann jetzt auch möglichst richtig machen

[paradadf]

@Madmeggo erstmal zur Doku... das ist ein Community-Projekt.. also DU kannst helfen, wie viele andere das machen.

Du kannst ES über das Tool stoppen und wieder starten, dafür ist die Option ja da.

Zur Konfiguration... Ich habe noch nie weder die Auto. Konf. benutzt, noch über das Netzwerk gescrapt. Du kannst alles über die linke Hälfte machen (Checkbox auf der rechten Seite nicht vergessen).
Wie ICH es mache (Beispiel für SNES für Scrapen über den Netzwerk):
ROM-Pfad zum Scrapen:
Auf [...] drücken und den Ordner \\RECALBOX\share\roms\snes auswählen.
XML Dateipfad:
Auf [...] drücken und dann direkt wieder auf Speichern drücken. Der Pfad stellt sich automatisch nachdem du die Linie davor eingestellt hast. Jedenfalls, die gamelist.xml muss IMMER im Ordner \\RECALBOX\share\roms\snes stehen, nicht im einem Subordner davon (wichtig für ScummVM).
ROM-Pfad in XML Datei:
So lassen, wie es ist. Also einfach ./
Pfad für heruntergeladene Bilder:
Auf [...] drücken und dann direkt wieder auf Speichern/Ordner auswählen drücken. Der Pfad stellt sich automatisch wie folgt:
\\RECALBOX\share\roms\snes\
Dann füge ich am Ende noch downloaded_images hinzu, so dass
\\RECALBOX\share\roms\snes\downloaded_images bleibt.
Bilderpfad in XML Datei:
So lassen, wie es ist. Also ./downloaded_images/

Für das Verhindern der Bewerung müsste das so stimmen.

Wenn du was scrapst und etwas fehlt, alle relevante Infos findest du hier:
https://forum.recalbox.com/topic/3842/how-to-screenscraper

[Madmeggo]

@paradadf Das mit der Doku war garnicht böse gemeint, sondern mit einem Lächeln und zwinkern. Und ich hab das gesagt weil ich ein "schlechtes Gewissen" hab dass ich so viele Fragen stelle

Den Link werd ich mir zu Gemüte führen! Habe mich auch auf screenscraper.fr angemeldet, um bei der ganzen Sache mitzuhelfen. Zum Übersetzen sollte mein englsich ausreichen.

Nochmal: Ich bewundere das Projekt Recalbox und die ganzen Tools, Themes, Anleitungen usw. Das mit der Dokumentation war wirklich nicht böse gemeint!
Und zu guter letzt dir auch nochmal ein großes Danke!
Vll hilft das ganze hin und her ja auch anderen die hier in dem Thread landen

[paradadf]

@Madmeggo mein Kommentar war auch nicht böse gemeint. Entschuldige, wenn das sich so "angehört" hat.

Un beim ScreenScraper gibt es noch ganz viel zu tun. Beschreibungen, Box Arts, Screenshots, etc.

[Madmeggo]

@paradadf Na dann ist ja alles paletti
Ich helfe gern! Und mir bringt es ja auch was, wenn ich beispielsweise mit den nicht erkannten Inhalten anfange, oder sie ergänze

[paradadf]

@Madmeggo noch eine Sache... habe gerade die Auto. Konf. ausprobiert. Wenn du auf der rechten Seite deine Rom-Pfad wählst, bswp.: \\RECALBOX\share\roms\ und die Einstellungen speicherst, das nächste Mal, wenn du auf Bearbeiten gehst, erscheinen neue Menüeinträge, und du kannst entweder direkt deine Systeme einzeln wählen oder alles auf einmal scrapen. Nützlich!!! Aber bei Unterordnern funktioniert das noch nicht.

[Madmeggo]

@paradadf Das ist gut zu wissen dass man auf der Recalbox auch einzelne Systeme scrapen kann. Danke

[paradadf]

@Madmeggo einzelne Systeme zu scrapen ist standard, das Neue (für mich zumindest) ist, dass man alle auf einmal scrapen kann.

[Madmeggo]

Sagen wir es mal so: Ich wusste nicht genau, wie ich einzeln mit dem XML Scraper scrapen kann. Wie das mit dem Fastscraper geht, wusste ich. Hab mich da eben falsch ausgedrückt. Ich hatte ja die ganze Konfiguration falsch benutzt, bis du mir sie erklärt hast.

[Madmeggo]

@paradadf Hat jetzt eine Weile gedauert, aber hier ist meine missing.txt (ich hoffe du kannst die .zip laden/sehen)
Anbei ist noch eine zweite Textdatei mit 4 Fehlern die ich in der Datenbank entdeckt habe (falsche Rom-Verknüpfungen)
Ich hoffe ich kann damit ein bischen was zu dem Projekt beitragen

Edit: Fehlende Playstation Inhalte hinzugefügt

[paradadf]

@Madmeggo ich schaue mir das mal jetzt an. Die falsche Verknüpfungen kannst du auch selbst korrigieren Oder soll ich das auch machen?

[paradadf]

@Madmeggo Ich bräuchte noch deine Hilfe... wenn du die missing.txt siehst, werden viele Dateinamen geschnitten (ist nicht deine Schuld, wird in v2 korrigiert). Kannst du bitte mir entweder die vollständigen Namen geben, oder deine fehlende Roms mit diesem Tool scannen? MD5 unten links nicht vergessen.
http://ffulgore.free.fr/site/f-crc/us/download.htm
Das erzeugt so einen Log mit dem vollständigen Namen. Du kannst auch deine gesamte Kollektion damit einscannen, wenn das auswählen der einzelne Fehlende Dateien zu aufwendig ist. Nur dran denken, die verschiene Console deutlich zu unterscheiden.

EDIT: Deine pbp Dateien auf jeden Fall mit dem F-CRC scannen, weil keine MD5 in deinem Log sind.

[Madmeggo]

Klar, kann ich machen
ich gucke es mir grad mal an!

Kann ich wirklich selbst in der Datenbank (also Screenscraper.fr) verknüpfte Roms hinzufügen und/oder löschen? Ich dachte das könnte nur ein Admin machen

[paradadf]

@Madmeggo du kannst Vorschläge machen, nur die Admins können diese validieren.

Aber HALT! Ich habe mir deine Roms angeschaut...

Dragon Warrior II hat dieses Rom in seiner Liste:
http://screenscraper.fr/rominfos.php?romid=135863

Bist du dir 100% sicher, dass der Name falsch ist und es "Dragon Warrior III (USA).nes" heißen soll?

Update: @Madmeggo ich habe alles schon korrigiert, vielen Dank! Neue Spiele erstellt und schnell die Media hinzugefügt, die ich finden konnte. Auch Dragon Warrior III

[Madmeggo]

@paradadf Ich hab es extra mit dem Hasher überprüft.
Die File crc32 ist mit Dragon Warrior II verknüpft
und die Rom crc32 findet man bei Dragon Warrior III. Um genau zu sein hier:
http://www.screenscraper.fr/rominfos.php?romid=173026

Wenn ich die Rom starte, bekomme ich auch den Titelscreen von Dragon Warrior III

Und bei "Bart vs Space Mutants" ist es glaube auch so.

Die Logs habe ich fertig. Hoffe es ist so wie du es brauchst

[paradadf]

@Madmeggo Dragon Warrior III ist bereits mit dem richtigen Spiel assoziert, nur die Dateiname kann ich nicht selbt ändern. Aber ich habe schon die richtige Person angeschrieben.
Alle andere Roms habe ich gerade eben hinzugefügt.