Solved Scraper extrem langsam und dupliziert Bilder + Spiele?!

[TheSence]

Hallo, ich hab kürzlich von Retropie auf Recalbox gewechselt. Bei Retropie lief der interne Scraper soweit das ich alle Bilder laden konnte die ich wollte.

Bei Recalbox funktioniert der interne überhaupt nicht, er rattert durch und dann bekomme ich die Fehlermeldung das keine Spiele gefunden wurden.

Also ausgewichen auf einen externen. Hatte zuerst einen anderen benutzt (Namen vergessen) und jetzt den Universal XML Scraper. Habe da nun auf verschiedene Wege versucht die Bilder auf meine Roms zu scrapen.

• Über das Netzwerk direkt auf den Pi -> Abgebrochen, viel zu langsam.
• Alles auf den USB (Sandisk Extreme 3.0) und dann local auf dem PC -> Abgebrochen zu langsam
• Auf die Festplatte kopiert und alles local -> Trotzdem alles langsam!

Die paar Sekunden pro Rom sind auch nicht zu erreichen, bei wenigen Roms ja, wenn ich aber die NES/SNES Roms durchlaufen lasse lande ich nach paar Stunden bei etwa 70 Sekunden pro Rom im Schnitt!

Versuchte es die Nacht durchlaufen zu lassen, heute früh aufgestanden und gehofft alles ist drauf, aber nein ist irgendwo am Anfang stehen geblieben weil irgendein Bild nicht resized werden konnte und statt weiter zu laufen mit den nächsten Roms hält er einfach das ganze Prozedure an und der PC lief die Nacht durch ohne irgendwas zu machen.

Ebenfalls fiel mir auf das Spiele und Bilder dupliziert werden. Ich hatte beim Megadrive 3 Spiele drauf gemacht, dann gescraped. Aus 3 Spielen sind dann plötzlich 6 geworden. 3 Sind dann natürlich "Dead Links" die ich dann von Hand nach testen löschen kann (bei NES/SNES hab ich kein Bock dann 1500 Roms durchzugehen was geht und was nicht weil alles verdoppelt wird.

Bin schon langsam frustriert und genervt von dem ganzen. Ich hab eine Glasfaserleitung bis ins Haus verlegt mit symetrischen 600 Mbit (Up & Download). Daran kann es nicht liegen.

Ich glaube es sind bei SNES etwa 777 Roms.
Er findet 695 Bilder und hält dann nicht an sondern scraped weiter und erstellt exakt die gleichen Bilder unter einem neuen Namen.

Beispiel:

1. Bild: "._3 Ninjas Kick Back-Image"

2. Bild: "3 Ninjas Kick Back-Image"

Was für einen Sinn hat es denn die Bilder doppelt zu scrapen und die Spiele dann in der Recalbox auch zu verdoppeln wo sie dann eh nicht funktionieren?

Ich hab die Einstellungen durchgesehen, den Assistenten durch gemacht und auch bei YouTube geschaut, ich hab nichts anderes getan und trotzdem wird dupliziert.

Hat jemand eine Idee was da schief läuft? Ich will nur die 3 Images Version 1x pro Spiel haben, und die soll auch nur 1x in der Recalbox angezeigt werden. Ist das irgendwie machbar oder bleibt mir in dem Fall nur die Rückkehr zu Retropie übrig?

[abunille]

@thesence

Hi,

zu den Geschwindigkeiten beim Scrapen kann ich dir im Moment nicht viel sagen.
(Bei Scrapes über ScreenScraper werden aber die reinen "Sauger" bei hoher Serverlast gekickt).
Das betrifft dann aber nicht nur Recalbox, sondern auch Retropie und weitere..

Zu den ._ Dateien:
Hast du zufällig ein Mac Gerät oder wurden die Dateien von einem dieser Geräte bearbeitet? Macs erstellen diese Dateien, auch wenn du es als Nutzer nicht siehst.
Unter Windows kannst du das sehen, in dem du "versteckte Dateien ausblenden" abschaltest.
Dann solltest du sehen wieviele und welche Art von Dateien (._) in deinem Rom Verzeichnis sind.
Ich bin mir zu 99,9% sicher das es nicht von den Scrapern kommt.

[TheSence]

Ja bin reiner Sauger, um nicht gekickt zu werden muss ich dann wohl zahlen?!

Oh wow okay hätte nicht gedacht das es damit was zu tun hat aber ja ich benutze einen Macbook Pro bzw. Windows 10 über Bootcamp installiert aber ja das Gerät ist ein Macbook.

Und gibt es eine Möglichkeit das zu deaktivieren? Damit er die ._ Dateien nicht mehr erstellt? Und nur 1 sauberen Durchgang macht? Die ._ Dateien kann ich im Nachhinein ja nicht einfach löschen da die dann auch in der XML Datei mit rein geschrieben werden oder?

[abunille]

@thesence

Zum Thema ._:
Über Windows kannst du die Dateien vor dem Scrapen löschen.
Abschalten über Mac....ich denke das wird nichts.

Scrape:
Eventuell anderen Zeitpunkt/Zeitraum wählen
Zahlen ist auch eine Möglichkeit
Oder sich am Projekt beteiligen

EDIT:
Die Software Skraper ignoriert Dateinamen mit einem Punkt (.) am Anfang.
Test es mal damit http://skraper.net
Und in ihrem Discord Kanal ist immer die neueste Beta zum Download angepinnt.

[TheSence]

Das war die andere Software wo auch so langsam war. Hab auch schon alle Tageszeiten probiert

Du meinstest unter Windows kann man die ._ Dateien vor dem Scrapen löschen? Die werden ja erst erstellt während dem scrapen, und während dem scrapen kann ich nichts am Programm machen ausser Abbrechen.

Registriert bin ich und den Account hatte ich auch validiert, aber hat kein Unterschied gemacht. 1 Thread bei registrierten Accounts, und bei unregistrierten läufts ja auch mit 1?

Kann ich das Skraper Tool irgendwie drüber laufen lassen ohne das er die ganzen Bilder nochmal neu läd? Die Bilder hab ich ja jetzt doppelt geladen mit dem Universal XML, wäre gut wenn ich dann irgendwie den Skraper laufen lassen könnte damit er mir dann die XML Datei säubert bzw. korrigiert damit die Games dann nur 1x drauf sind statt 2x.

Ach ich glaub ich lass es bleiben, hab den Skraper eben nochmal getestet bei den 3 Megadrive spielen, und auch da kommt er mir mit "Scraped Games: 6". Also gedoppelt... scheint wohl mit Mac Geräten nicht zu funktionieren, egal ob Windows drauf läuft oder nicht.

Skraper ignoriert die ._ Dateien bei mir auch nicht, er schreibt diese ebenfalls mit in die XML Datei rein. Ich werde jetzt einfach alles mal paar "Tage" durchlaufen lassen bis alles geladen und geschrieben ist und dann werde ich die XML von Hand umschreiben und die doppelten Bilder manuell löschen.

Danke für die Hilfe.

[abunille]

@thesence

Mmhhh, das werde ich mal testen.
Bin selbst Mac Nutzer und habe keinerlei Probleme.

Den Scraper nutzt du doch am Windoof System, somit gehst du zuerst in deinen romOrdner. Dort löschst du die ._Spielname.nes oder wie sie auch immer heißen.
Die Scrape Programme sehen wohl die doppelten Einträge in deinen Spielen, somit erstellen sie wohl auch doppelte Einträge als Bilder.
Im Skraper kann man unterschiedliche Sache einstellen, schau dir das Programm mal an.

[TheSence]

Oh mann habe gerade gesehen das bei den versteckten Elementen tatsächlich solche ._ Dateien vorhanden sind die jeweils 4 kB haben die ich vorher nicht löschte weil ich diese nicht gesehen habe. Dachte ich hätte es in der Ansicht schon aktiviert gehabt. Habe jetzt nicht neu gescraped, aber das wird's dann wohl gewesen sein.

Ich habe es jetzt so gelöst gehabt das ich alles doppelt erstellen gelassen hab, dann alle Grafiken mit ._ davor gelöscht habe und diese auch in der XML Datei von Hand gelöscht habe. War kein großer Aufwand da zum Glück alphabetisch in die XML Datei geschrieben wird.

Am ärgerlichsten waren nur die vielen Stunden scraperei, die abartig langsam lief.

Also nochmal danke an die Hilfe und Sorry für meine Windoofheit
Mein letztes Windows war XP g

[abunille]

@thesence

Hahaha, alles gut

Freut mich das es erstmal einigermaßen funktioniert.
Ich werde die Sache mit den ._ Dateien trotzdem nochmal beim Projekt klären lassen bzw. es mal selbst testen.

Naja, Abhilfe gegen das langsame Scrapen habe ich dir ja oben bereits genannt

Schönes Wochenende