[Tool] Universal XML Scraper (Deutsch)

[Madmeggo]

@paradadf Das ist gut zu wissen dass man auf der Recalbox auch einzelne Systeme scrapen kann. Danke

[paradadf]

@Madmeggo einzelne Systeme zu scrapen ist standard, das Neue (für mich zumindest) ist, dass man alle auf einmal scrapen kann.

[Madmeggo]

Sagen wir es mal so: Ich wusste nicht genau, wie ich einzeln mit dem XML Scraper scrapen kann. Wie das mit dem Fastscraper geht, wusste ich. Hab mich da eben falsch ausgedrückt. Ich hatte ja die ganze Konfiguration falsch benutzt, bis du mir sie erklärt hast.

[Madmeggo]

@paradadf Hat jetzt eine Weile gedauert, aber hier ist meine missing.txt (ich hoffe du kannst die .zip laden/sehen)
Anbei ist noch eine zweite Textdatei mit 4 Fehlern die ich in der Datenbank entdeckt habe (falsche Rom-Verknüpfungen)
Ich hoffe ich kann damit ein bischen was zu dem Projekt beitragen

Edit: Fehlende Playstation Inhalte hinzugefügt

[paradadf]

@Madmeggo ich schaue mir das mal jetzt an. Die falsche Verknüpfungen kannst du auch selbst korrigieren Oder soll ich das auch machen?

[paradadf]

@Madmeggo Ich bräuchte noch deine Hilfe... wenn du die missing.txt siehst, werden viele Dateinamen geschnitten (ist nicht deine Schuld, wird in v2 korrigiert). Kannst du bitte mir entweder die vollständigen Namen geben, oder deine fehlende Roms mit diesem Tool scannen? MD5 unten links nicht vergessen.
http://ffulgore.free.fr/site/f-crc/us/download.htm
Das erzeugt so einen Log mit dem vollständigen Namen. Du kannst auch deine gesamte Kollektion damit einscannen, wenn das auswählen der einzelne Fehlende Dateien zu aufwendig ist. Nur dran denken, die verschiene Console deutlich zu unterscheiden.

EDIT: Deine pbp Dateien auf jeden Fall mit dem F-CRC scannen, weil keine MD5 in deinem Log sind.

[Madmeggo]

Klar, kann ich machen
ich gucke es mir grad mal an!

Kann ich wirklich selbst in der Datenbank (also Screenscraper.fr) verknüpfte Roms hinzufügen und/oder löschen? Ich dachte das könnte nur ein Admin machen

[paradadf]

@Madmeggo du kannst Vorschläge machen, nur die Admins können diese validieren.

Aber HALT! Ich habe mir deine Roms angeschaut...

Dragon Warrior II hat dieses Rom in seiner Liste:
http://screenscraper.fr/rominfos.php?romid=135863

Bist du dir 100% sicher, dass der Name falsch ist und es "Dragon Warrior III (USA).nes" heißen soll?

Update: @Madmeggo ich habe alles schon korrigiert, vielen Dank! Neue Spiele erstellt und schnell die Media hinzugefügt, die ich finden konnte. Auch Dragon Warrior III

[Madmeggo]

@paradadf Ich hab es extra mit dem Hasher überprüft.
Die File crc32 ist mit Dragon Warrior II verknüpft
und die Rom crc32 findet man bei Dragon Warrior III. Um genau zu sein hier:
http://www.screenscraper.fr/rominfos.php?romid=173026

Wenn ich die Rom starte, bekomme ich auch den Titelscreen von Dragon Warrior III

Und bei "Bart vs Space Mutants" ist es glaube auch so.

Die Logs habe ich fertig. Hoffe es ist so wie du es brauchst

[paradadf]

@Madmeggo Dragon Warrior III ist bereits mit dem richtigen Spiel assoziert, nur die Dateiname kann ich nicht selbt ändern. Aber ich habe schon die richtige Person angeschrieben.
Alle andere Roms habe ich gerade eben hinzugefügt.

[Madmeggo]

Bombe!
Ich hoffe ich hab mit Dragon Warrior III keine Verwirrung gestiftet
Wünsche noch einen schönen Abend!

[fishpie]

Ahoj! Bin neu und tät mich freun...
wenn mir jemand sagen könnt wie das mit den 2D box art im moment läuft.

Offensichtlich hat sich da einiges geändert, allerdings funktioniert nur screenshots scrapen reibungslos, bei boxarts bleibt der ordner leer?

EDIT: Das Problem hat sich gewandelt -

Anschneinend werden die "alternativ-bilder" nicht in die xml eingetragen.
Wenn ich "default Picture/2D Box art" und "alternative picture/ screenshot" wähle, wird bei spielen ohne 2Dbox art zwar ein screenshot runtergeladen und korrekt abgelegt - der pfad allerdings nicht in die XML eingetragen.

[RaspCh]

Hi Leute,

Irgendwie mache ich was falsch. Ich sehe die Covers in Recalbox nicht.
Mein System:
Raspberry Pi 3
Recalbox Version: 4.0
Wenn ich Scrape sehe ich zwar die Bilder im Rom Ordner aber nicht im System. Der Scraper findet auch alle Roms Beschreibung usw.. ist vorhanden.
Wenn ich eine Rom in den Rom Ordner Kopiere muss ich nur die Datei oder aber einen eigenen Ordner mit der Datei erzeugen?
Ich Srape übers Netzwerk. Habe es auch nur mit PC versucht das ging gar nicht.
Ok habe gerade was Bemerkt die Covers wurden direkt im Rom Ordner abgelegt nicht aber im downloaded_images Ordner habe die Bilder verschoben und jetzt geht es.

[RaspCh]

Ok hat es hat sich ein neues Problem aufgetan.
Wenn ich Recalbox 4.0 Mix wähle dann werde die Bilder als PNG Datei gespeichert. PNG kann Recalbox anscheinend nicht lesen.
Ich habe unter Optionen JPEG ausgewählt. Er schreibt es zwar hin speichert die Bilder trotzdem als PNG.
Wenn ich die Bilder dann im Ordner als JPEG speicher sehe ich die Bilder.

Kennt jemand diese Problem?

Wäre für jede Hilfe sehr Dankbar

[RaspCh]

@Nachtgarm said in [Tool] Universal XML Scraper (Deutsch):

@K01WE Da Du Dir deine Antwort schon von Screech geholt hast, poste ich die nochmal hier, damit alle Anderen es auch wissen:

In der UXS-config.ini sucht man folgende Zeilen

$ELEMENT_11 = 'image|path:image|medias/media_screenshot|path:image'
$ELEMENT_12 = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'

ELEMENT_11: Lade Sreenshot herunter
ELEMENT_12 : wenn kein Screenshot gefunden, dann 2D Artwork herunterladen

Wenn man nun also NUR 2D Artworks (Cover) haben möchte, löscht man einfach die ganze Zeile mit ELEMENT_11 und nummeriert dann ALLE Zeilen in der UXS-config.ini neu, so dass es wieder eine ununterbrochene Abfolge ist:

$ELEMENT_1 	= 'gameList|root|Data|root'
$ELEMENT_2 	= 'game|child|jeu|child'
$ELEMENT_3 	= 'id|attr:game|id|value'
$ELEMENT_4 	= 'source|attr:game|ScreenScraper|variable'
$ELEMENT_5 	= 'path|value|%RomPath%|variable'
$ELEMENT_6 	= 'emulator|value'
$ELEMENT_7 	= 'core|value'
$ELEMENT_8 	= 'name|value|noms/nom_%%|value'
$ELEMENT_9 	= 'name|value|nom|value'
$ELEMENT_10 	= 'desc|value|synopsis/synopsis_%%|value'
$ELEMENT_11 	= 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_%%|path:image'
$ELEMENT_12	= 'thumbnail|value'
$ELEMENT_13	= 'rating|value100|note|value'
$ELEMENT_14	= 'releasedate|valueDES|dates/date_%%|value'
$ELEMENT_15	= 'developer|value|developpeur|value'
$ELEMENT_16	= 'publisher|value|editeur|value'
$ELEMENT_17	= 'genre|value|genres/genres_%%/genre_%%|value'
$ELEMENT_18	= 'players|value|joueurs|value'
$ELEMENT_19	= 'favorite|value'
$ELEMENT_20	= 'region|value'
$ELEMENT_21	= 'romtype|value'
$ELEMENT_22	= 'hidden|value'
$ELEMENT_23	= 'playcount|value'
$ELEMENT_24	= 'lastplayed|value'
$ELEMENT_25	= 'crc32|value|%crc32%|variable'
$ELEMENT_26	= 'md5|value|%md5%|variable'
$ELEMENT_27	= 'sha1|value|%sha1%|variable'

Ich wollte das machen aber bei mir gibt es diese Zeile nicht.
Es sieht so aus

[GENERAL]
$verINI='2.0.0.5'
$vVerbose=2
[LAST_USE]
$vUserLang=0407
$vMirror=1
$vProfilsPath=C:\Users\Asrock\Desktop\Scrapper\ProfilsFiles\RecalboxV4 (MIX).xml
$vRechFiles=.32x;.a26;.a78;.bin;.cbn;.ccd;.cdi;.chd;.col;.cso;.cue;.d64;.do;.dos;.dsk;.exe;.fba;.fds;.gb;.gba;.gbc;.gc;.gcz;.gdi;.gen;.gg;.img;.iso;.lnx;.lua;.lutro;.md;.mgd;.mgw;.moonlight;.mx1;.mx2;.n64;.nes;.ngc;.ngp;.nib;.p;.pbp;.pc;.pce;.po;.rom;.rzx;.scl;.scummvm;.sfc;.sg;.sgx;.smc;.smd;.sms;.st;.stx;.t64;.tap;.trd;.tzx;.v64;.vb;.vec;.wad;.wbfs;.ws;.wsc;.x64;.z64;.z80;.zip;*.zx80||
$vAutoconf_Use=1
$vSource_RomPath=\RECALBOX\share\roms\nes
$vTarget_RomPath=./
$vTarget_XMLName=\RECALBOX\share\roms\nes\gamelist.xml
$vSource_ImagePath=\RECALBOX\share\roms\nes\downloaded_images
$vTarget_ImagePath=./downloaded_images/
$vLangPref=de|us
$vCountryPref=%COUNTRY%|eu|us|jp|xx|origine|fr
$vTarget_Image_Width=600
$vTarget_Image_Height=400
$vMixImage=Standard (4img)
$vTarget_Image_Ext=jpg
$vNbThread=1
$vScrape_Mode=0
$vCountryPic_Mode=0
$vMissingRom_Mode=0
$vRechSYS=1
$vSSLogin=
$vSSPassword=

[screech]

Hi @RaspCh

These manipulations are useless in UXS V2.

Now you can go to the "Configuration / Options configuration" and choose your picture and alternative picture directly in the software

And for information, MIX profil are in PNG to handle transparency. (and it works well in Recalbox).
If you want JPEG, you must choose a no MIX profil.

Google translate :
Diese Manipulationen sind bei UXS V2 nutzlos.

Jetzt können Sie auf die "Konfiguration / Optionen Konfiguration" und wählen Sie Ihr Bild und alternative Bild direkt in der Software;)

Und für Informationen, MIX profil sind in PNG zu handhaben Transparenz. (Und es funktioniert gut in Recalbox).
Wenn Sie JPEG wollen, müssen Sie ein No MIX Profil wählen.

[RaspCh]

Okay Thank You.
Now it's working

[jasonx20ac]

Hey Leute erstmal super Prog.
Jetzt zu meinem Problem, wenn ich euren Scraper benutze um meine N64 Roms zu scrapen findet er 240 von 400 Roms.
Wenn ich jedoch den Fastscraper benutze findet er nur 8 Roms nicht.
Beider nutzen ja die Datenbank von screenscraper.fr?
Wie kann das sein?

Vielen dank für eure Antworten

[paradadf]

Der Unterschied liegt darin, dass UXS die gezippte Dateien erkennt (hashed), jedoch sselph's scraper (fastscraper) diese Zips öffnet und deren Inhalt wird gehasht. Wenn die Information von den unzippten Dateien nicht in ScreenScraper.fr ist, dann wird fastscraper diese auch nicht finden.

[jasonx20ac]

die dateien die ich habe sind alle unzipped mit z64 al endung