[SOFT] Skraper

[Andearoid]

Bonjour,

Je cherchais un moyen de scraper plus proprement un fullset MAME 2016 et en cherchant une alternative à UXS je suis tombé sur Skraper. L'ergonomie est excellente et la possibilité de faire un réglage pour chaque système vraiment appréciable. Malgré le CPU de la machine que j'utilise il performe rapidement et sans plantage. Félicitation à son auteur.

J'ai juste 3 notes à lui remonter :

. A la fin du scrap j'ai parfois dans les logs un message d'erreur "Error in game loop!" en rouge et le compteur de jeux scrapés reste à 324/325. pourtant le fichier gamelist.xml et gamelist.Missing.Serial.txt sont convenablement générés. J'ai lancé le scrap sur le même set de roms plusieurs fois avec les mêmes réglages, ce message d'erreur apparait aléatoirement. Même constatation avec d'autres set de roms.

. J'ai un fullset FDS (Nintendo Family Disk System) No-Intro 0 missing validé avec ClrMamePro. Quand je scrap ce fullset avec UXS j'ai 3 roms non trouvées. Quand je scrap ce même fullset avec Skraper j'ai 13 roms non trouvées. Dans les réglages des 2 logiciels j'utilise CRC + nom du fichier. Les 2 logiciels s'appuient sur les bases de données de ScreenScraper.fr. La pertinence des résultats devrait être identique. Je pense.

. UXS enregistre les snapshots avec une profondeur de couleur 8 bits. Skraper enregistre les snapshots avec une profondeur de couleur 32 bits. Une même image en 32 bits pèsent 250Ko pour 60Ko en 8 bits. Résultat, les snapshots prennent moins de places sur le disque dur lorsqu'ils sont générés avec UXS. Surtout quand il y en a beaucoup. Et à l'oeil nu, sur un écran de TV la qualité est la même. La possibilité de choisir la profondeur de couleur dans l'onglet Médias serait là bienvenue.

Je n'ai pas trouvé de bugtracker ou de lien pour contacter l'auteur directement sur le site de Skraper. J'ai l'impression que ça se gère ici avec Bkg2k. Ma version de Skraper affiche 1.0.19164 Build #3069. Je pense que c'est une Beta 8 (téléchargée et installée il y a 5 ou 6 jours max). J'espère que cela pourra lui être utile.

[Scavy]

@andearoid Ben en fait, ça se gère bien avec bkg2k, c'est le développeur de Skraper ^^

[Bkg2k]

@scavy chut, vendu

[Scavy]

@bkg2k Le dirais plus patron ^^

[Andearoid]

@bkg2k Je ne cherche pas à être désagréable.

Depuis l'autre jour, j'ai fait d'autres scrapes de sets consoles avec Skraper et en modifiant l'ordre de priorité des langues et des régions (le même que celui que j'avais par défaut dans UXS), à la fin du scrap (bonne surprise), j'obtiens moins de jeux non trouvés qu'avec les réglages par défaut.

Dans l'onglet Divers, dans le champ Langue j'ai mis : fr,en,wor (au lieu de : fr,en) et pour Régions : fr,eu,wor,ss,us,jp,cus (au lieu de : fr,eu,us,jp,wor,ss). A première vue, ça ne devrait pas changer grand chose. Et pourtant. En scrapant mon set Family Disk System je n'ai plus que 4 non trouvés au lieu de 13.

Pour les autres romsets que j'ai scrapé avec UXS et Skraper, voici les scores que j'obtiens à présent. Mes romsets sont tous managés avec ClrMamePro et les .dat No-Intro. Le CRC et le filename de chaque roms sont donc référencés et vérifiés.

Family Disk System (325 roms)
UXS : 3 missing
Skraper : 4 missing

Famicom (2834 roms)
UXS : 115 missing
Skraper : 94 missing

Satellaview (256 roms)
UXS : 50 missing
Skraper : 50 missing

Master System (580 roms)
UXS : 31 missing
Skraper : 30 missing

Game Boy (1644 roms)
UXS : 81 missing
Skraper : 72 missing

Game Gear (512 roms)
UXS : 20 missing
Skraper : 20 missing

Avec ces nouveaux réglages Langues/Régions, on peut dire que Skraper se débrouille aussi bien que UXS. Et même souvent mieux. J'ai vu sur le site de ScreenScraper qu'il y avait une API 1 et une API 2 (béta). C'est sans doute ce qui explique les quelques différences entre les 2 outils.

J'ai constaté aussi qu'en faisant plusieurs scrapes d'affilés avec Skraper, j'avais parfois moins de missing. Avec le romset Game Boy j'ai eu d'abord 80 missing, puis 74 missing, puis 72 missing. Mais je n'arrive plus à descendre en-dessous. Peut-être aussi une histoire de requêtes en cache sur les serveurs de ScreenScraper. Parfois il suffit qu'on tape un front au lieu d'un autre, et puis le résultat final varie un peu.

Par rapport aux autres scrapers que j'ai testé, Skraper est vraiment bien pensé. Je vais juste essayer de me trouver un outil en ligne de commande pour convertir les .png 32 bits en 8 bits. Afin de gagner de la place sur le disque dur. Sur des gros sets comme celui de la Game Boy ou de la Famicom, ça permet de gagner plusieurs 100aines de Mo. Et donc d'ajouter d'autres sets pour blinder sa Recalbox ^^

[Bkg2k]

@andearoid en effet UXS utilise l'API v1, et Skraper la v2.
Il reste, à priori, quelques soucis coté Server ScreenScraper, ce qui explique les differences que tu peux avoir d'un scrape a un autre. On attend que le grand Maître de ScreenScraper rentre pour s'y attaquer

[bruce7491]

salut à tous
je découvre skraper, outil de scrap génial
cependant là ou uxs pouvait scraper sans problème les jeux neogeo Pocket par exemple, avec skraper rien est scrapé
pour atari c'est ok par contre… bizarre non ?
une piste ?

[voljega]

@bruce7491 personnellement j'ai eu aucun problème pour scraper les jeux neogopocket et neogeopocketcolor avec Skraper

[bruce7491]

@bruce7491 en complément…
Le serveur distant a retourné une erreur : (400) Demande incorrecte.

ou alors j'aurais dépassé le nombre d'appel par jour qui est de 10 000 ??

[Andearoid]

@bruce7491 Je suis entrain de rescanner mes romsets avec Skraper. Hier j'ai fait les Neogeo Pocket et Neogeo Pocket Color. Pas d'erreur 400 pour ma part. Si tu passes par un proxy, un VPN ou une gateway qui encapsule tes paquets TCP pour communiquer sur Internet, ça peut être un problème de MTU qu'il faudra modifier dans ton système d'exploitation.

[Andearoid]

Pour ceux qui veulent diminuer le poids de leurs snapshots générés par Skraper, j'ai trouvé un petit utilitaire DOS qui s'appelle "pngquant". Il permet de compresser avantageusement un fichier PNG 24/32 bits en fichier PNG 8 bits. Sans aucune perte visible de qualité. Et le format est standard.

Pour se le télécharger gratuitement : [https://pngquant.org](url du lien)

Je me suis fait ce petit script à mettre dans un fichier .bat et dans le même dossier que le fichier pngquant.exe.

*-------------------------------------------
@ECHO OFF
CLS

SET targetpath="C:\recalbox\roms\megadrive\media\images"

COPY pngquant.exe %targetpath% /Y
FOR /R "%targetpath%" %%R IN (*.png) DO (
%targetpath%\pngquant.exe "%%R" --force --output "%%R"
)
DEL %targetpath%\pngquant.exe /F

PAUSE
EXIT
*----------------------------------------

Ca permet de compresser d'un coup toutes les images .PNG d'un dossier (ex: ..\media\images). Il suffit de modifier le chemin du dossier de la variable "targetpath" avec le sien.

Par exemple, dans mon cas le dossier \images des snapshots du romset Game Boy Advance passe de 761Mo à 168Mo. Et donc de libérer de l'espace disque pour blinder ma Recalbox avec d'autres romsets.

Si ça intéresse Bkg2k, il y a ici sa lib réutilisable en C# : [https://github.com/ImageOptim/libimagequant](url du lien)

[Bkg2k]

Outch! méfiance avec pngquant!

Sans aucune perte de qualité? Nous avons déjà utilisé pngquant sur ScreenScraper et ça a été un carnage total, il nous a fallu des mois pour tout rattraper.
Si sur certaines images ça passe bien, sur d'autres le résultat est simplement atroce.
Faites gaffe, passer de 16M de couleurs en 256 couleurs, même avec les algos de dithering, ça pique les yeux sévère

Il vaut mieux utiliser des utilitaires comme PngGauntlet qui augmentent la compression et retirent les metadata.

[Andearoid]

@Bkg2k Aucun carnage à déplorer de mon côté avec pngquant en mode automatique. Puisque le principe de base consiste à réduire la profondeur de couleur uniquement si c'est possible. Autrement dit, si l'image ne peut pas être codée en 8 bits, il la codera en 24 bits. Et si même en 24 bits c'est impossible, il la maintiendra en 32 bits. Il préserve également la canal alpha pour la transparence.

Image source ScreenScraper (321 ko) :

Image recompressée avec pngquant (72 ko) :

Image recompressée avec PNGGauntlet (269 ko) :

Perso à l'œil nu, je ne vois pas de différence. En revanche si je devais administrer la base d'image de ScreenScraper je stockerais sur mes serveurs tous les média en qualité optimum. Et éventuellement avant de tout compresser pour tester, je fais un backup de mes dossiers avant. Ca permet de revenir rapidement à l'état précédent. Et les tests jamais directement sur les serveurs de prod.

Peut-être tu devrais retenter avec la dernière version. L'EXE a été buildé le 28/10/2018. Il ne faut pas non plus utiliser le .bat "reduce to 256 color" fourni avec. La commande dans ce script limite le nombre de couleur à 256 et là ouhlàlà. Il vaut mieux au pire utiliser le paramètre --quality min-max avec des valeurs pas trop basses si tu as peur que la compression dégrade trop l'image.

[Bkg2k]

Ta jaquette à bien morflé avec PNQQuant
Ceci dit dans ton exemple, le screenshot de base n'est déjà pas bon, il a morflé. Il reste encore des images qui ont subit les dégats de pngquant et qui n'ont pas été remplacées

[Andearoid]

@bkg2k Si l'image hideuse du jeu de baseball a été sabotée sur le serveur par pngquant, permet moi de refaire une comparaison à partir d'un bon screenshot du jeu Fatal Fury.

Snapshot 32 bits produite par Skraper (333ko) :

Même snapshot réduit à 8 bits avec pngquant (79ko) :

J'avoue la qualité en 8 bits est vraiment ignoble.
C'est à vomir sur son Raspberry Pi.

Encore un dernier pour me faire pleurer.

Snapshot ScreenScraper (360ko) :

Snapshot compressé (81ko) :

La vache. Ca me pique encore plus les yeux que dans les manifs.
On dirait que la jaquette de la boite est passée sous en camion.

Tu m'as clairement convaincu.
Je ne le ferai plus

[cissou]

je dois etre aveugle ou presque car je vois tres peu de diff sur ff et turtle in time

[Scavy]

@cissou C'est ptet parce que c'était ironique ^^

[Bkg2k]

Je n'ai pas de temps a perdre dans la démonstration absurde.

Il est evident que si je prends un screenshot en 32 couleurs réelles et que je le passe de 16M à 256 couleurs il ne subira aucun dégâts.
Il est aussi evident que sur les 2 screenshots montré en exemple, il y a moins de 256 couleurs. Par contre si vous ne voyez pas les dégâts sur le boitier Turtle ninja, l'ironie ne vous sauvera pas d'une revision chez l'ophtalmo...

Prenez les scans de boitier, ou prenez des jeux Dreamcast, ou d'autres console un peu plus évoluées coté couleurs, ou prenez simplement des mix avec des assemblages de couleurs et de dégradés un peu plus évolués que les 2 exemple absurdes du dessus, et vous allez le sentir passer avec pngquant.
On à pleuré du sang pendant des mois sur ScreenScraper après avoir passé pngquant sur tous les medias. Je sais parfaitement de quoi je parle en disant que c'est certainement pas une bonne solution générale
Ca peut s'appliquer sur les screenshots uniquement, et sur certaines consoles.

@MarbleMad @Archangel54 et @zwabikoski ne vous diront pas le contraire...

Nouvelle recette miracle! : Scrapez les vidéos, reduisez les en 24 x 16 pixels et passez les en 16 couleurs, vous allez voir! C'est révolutionnaire, on gagne une place de ouf et on y voit que du feu! (ou presque)

[Scavy]

Bonjour @Bkg2k, ni @cissou ni moi n'avons dit le contraire. Le post de @Andearoid indique que la qualité d'une image en 8 bits est ignoble par rapport à la 32 bits, et cissou dit qu'il est aveugle parce qu'il ne voit pas la différence. J'ai juste fait remarquer à cissou que le post de andrearoid était ironique (ce qui est le cas). Il n'y a aucune prise de position par rapport à son post.
Il est donc inutile d'incendier tout le monde surtout pour ce qui est évident pour tous sauf quelques uns.

[Bkg2k]

Je ne pense pas avoir incendié qui que ce soit

C'est juste qu’évangéliser une "solution miracle" qui réduit drastiquement la taille des images sans contrepartie visible, c'est un peu comme placarder

en disant "Ca marche je l'ai testé!!!"

Pourtant les gens du rétrogaming ne sont pas nés d'hier, ils devraient savoir que le père noël n'existe pas!
J'espère n'avoir spoïlé personne avec ma dernière phrase...