[SOFT] Skraper

[Andearoid]

@bkg2k Je ne cherche pas à être désagréable.

Depuis l'autre jour, j'ai fait d'autres scrapes de sets consoles avec Skraper et en modifiant l'ordre de priorité des langues et des régions (le même que celui que j'avais par défaut dans UXS), à la fin du scrap (bonne surprise), j'obtiens moins de jeux non trouvés qu'avec les réglages par défaut.

Dans l'onglet Divers, dans le champ Langue j'ai mis : fr,en,wor (au lieu de : fr,en) et pour Régions : fr,eu,wor,ss,us,jp,cus (au lieu de : fr,eu,us,jp,wor,ss). A première vue, ça ne devrait pas changer grand chose. Et pourtant. En scrapant mon set Family Disk System je n'ai plus que 4 non trouvés au lieu de 13.

Pour les autres romsets que j'ai scrapé avec UXS et Skraper, voici les scores que j'obtiens à présent. Mes romsets sont tous managés avec ClrMamePro et les .dat No-Intro. Le CRC et le filename de chaque roms sont donc référencés et vérifiés.

Family Disk System (325 roms)
UXS : 3 missing
Skraper : 4 missing

Famicom (2834 roms)
UXS : 115 missing
Skraper : 94 missing

Satellaview (256 roms)
UXS : 50 missing
Skraper : 50 missing

Master System (580 roms)
UXS : 31 missing
Skraper : 30 missing

Game Boy (1644 roms)
UXS : 81 missing
Skraper : 72 missing

Game Gear (512 roms)
UXS : 20 missing
Skraper : 20 missing

Avec ces nouveaux réglages Langues/Régions, on peut dire que Skraper se débrouille aussi bien que UXS. Et même souvent mieux. J'ai vu sur le site de ScreenScraper qu'il y avait une API 1 et une API 2 (béta). C'est sans doute ce qui explique les quelques différences entre les 2 outils.

J'ai constaté aussi qu'en faisant plusieurs scrapes d'affilés avec Skraper, j'avais parfois moins de missing. Avec le romset Game Boy j'ai eu d'abord 80 missing, puis 74 missing, puis 72 missing. Mais je n'arrive plus à descendre en-dessous. Peut-être aussi une histoire de requêtes en cache sur les serveurs de ScreenScraper. Parfois il suffit qu'on tape un front au lieu d'un autre, et puis le résultat final varie un peu.

Par rapport aux autres scrapers que j'ai testé, Skraper est vraiment bien pensé. Je vais juste essayer de me trouver un outil en ligne de commande pour convertir les .png 32 bits en 8 bits. Afin de gagner de la place sur le disque dur. Sur des gros sets comme celui de la Game Boy ou de la Famicom, ça permet de gagner plusieurs 100aines de Mo. Et donc d'ajouter d'autres sets pour blinder sa Recalbox ^^

[Bkg2k]

@andearoid en effet UXS utilise l'API v1, et Skraper la v2.
Il reste, à priori, quelques soucis coté Server ScreenScraper, ce qui explique les differences que tu peux avoir d'un scrape a un autre. On attend que le grand Maître de ScreenScraper rentre pour s'y attaquer

[bruce7491]

salut à tous
je découvre skraper, outil de scrap génial
cependant là ou uxs pouvait scraper sans problème les jeux neogeo Pocket par exemple, avec skraper rien est scrapé
pour atari c'est ok par contre… bizarre non ?
une piste ?

[voljega]

@bruce7491 personnellement j'ai eu aucun problème pour scraper les jeux neogopocket et neogeopocketcolor avec Skraper

[bruce7491]

@bruce7491 en complément…
Le serveur distant a retourné une erreur : (400) Demande incorrecte.

ou alors j'aurais dépassé le nombre d'appel par jour qui est de 10 000 ??

[Andearoid]

@bruce7491 Je suis entrain de rescanner mes romsets avec Skraper. Hier j'ai fait les Neogeo Pocket et Neogeo Pocket Color. Pas d'erreur 400 pour ma part. Si tu passes par un proxy, un VPN ou une gateway qui encapsule tes paquets TCP pour communiquer sur Internet, ça peut être un problème de MTU qu'il faudra modifier dans ton système d'exploitation.

[Andearoid]

Pour ceux qui veulent diminuer le poids de leurs snapshots générés par Skraper, j'ai trouvé un petit utilitaire DOS qui s'appelle "pngquant". Il permet de compresser avantageusement un fichier PNG 24/32 bits en fichier PNG 8 bits. Sans aucune perte visible de qualité. Et le format est standard.

Pour se le télécharger gratuitement : [https://pngquant.org](url du lien)

Je me suis fait ce petit script à mettre dans un fichier .bat et dans le même dossier que le fichier pngquant.exe.

*-------------------------------------------
@ECHO OFF
CLS

SET targetpath="C:\recalbox\roms\megadrive\media\images"

COPY pngquant.exe %targetpath% /Y
FOR /R "%targetpath%" %%R IN (*.png) DO (
%targetpath%\pngquant.exe "%%R" --force --output "%%R"
)
DEL %targetpath%\pngquant.exe /F

PAUSE
EXIT
*----------------------------------------

Ca permet de compresser d'un coup toutes les images .PNG d'un dossier (ex: ..\media\images). Il suffit de modifier le chemin du dossier de la variable "targetpath" avec le sien.

Par exemple, dans mon cas le dossier \images des snapshots du romset Game Boy Advance passe de 761Mo à 168Mo. Et donc de libérer de l'espace disque pour blinder ma Recalbox avec d'autres romsets.

Si ça intéresse Bkg2k, il y a ici sa lib réutilisable en C# : [https://github.com/ImageOptim/libimagequant](url du lien)

[Bkg2k]

Outch! méfiance avec pngquant!

Sans aucune perte de qualité? Nous avons déjà utilisé pngquant sur ScreenScraper et ça a été un carnage total, il nous a fallu des mois pour tout rattraper.
Si sur certaines images ça passe bien, sur d'autres le résultat est simplement atroce.
Faites gaffe, passer de 16M de couleurs en 256 couleurs, même avec les algos de dithering, ça pique les yeux sévère

Il vaut mieux utiliser des utilitaires comme PngGauntlet qui augmentent la compression et retirent les metadata.

[Andearoid]

@Bkg2k Aucun carnage à déplorer de mon côté avec pngquant en mode automatique. Puisque le principe de base consiste à réduire la profondeur de couleur uniquement si c'est possible. Autrement dit, si l'image ne peut pas être codée en 8 bits, il la codera en 24 bits. Et si même en 24 bits c'est impossible, il la maintiendra en 32 bits. Il préserve également la canal alpha pour la transparence.

Image source ScreenScraper (321 ko) :

Image recompressée avec pngquant (72 ko) :

Image recompressée avec PNGGauntlet (269 ko) :

Perso à l'œil nu, je ne vois pas de différence. En revanche si je devais administrer la base d'image de ScreenScraper je stockerais sur mes serveurs tous les média en qualité optimum. Et éventuellement avant de tout compresser pour tester, je fais un backup de mes dossiers avant. Ca permet de revenir rapidement à l'état précédent. Et les tests jamais directement sur les serveurs de prod.

Peut-être tu devrais retenter avec la dernière version. L'EXE a été buildé le 28/10/2018. Il ne faut pas non plus utiliser le .bat "reduce to 256 color" fourni avec. La commande dans ce script limite le nombre de couleur à 256 et là ouhlàlà. Il vaut mieux au pire utiliser le paramètre --quality min-max avec des valeurs pas trop basses si tu as peur que la compression dégrade trop l'image.

[Bkg2k]

Ta jaquette à bien morflé avec PNQQuant
Ceci dit dans ton exemple, le screenshot de base n'est déjà pas bon, il a morflé. Il reste encore des images qui ont subit les dégats de pngquant et qui n'ont pas été remplacées

[Andearoid]

@bkg2k Si l'image hideuse du jeu de baseball a été sabotée sur le serveur par pngquant, permet moi de refaire une comparaison à partir d'un bon screenshot du jeu Fatal Fury.

Snapshot 32 bits produite par Skraper (333ko) :

Même snapshot réduit à 8 bits avec pngquant (79ko) :

J'avoue la qualité en 8 bits est vraiment ignoble.
C'est à vomir sur son Raspberry Pi.

Encore un dernier pour me faire pleurer.

Snapshot ScreenScraper (360ko) :

Snapshot compressé (81ko) :

La vache. Ca me pique encore plus les yeux que dans les manifs.
On dirait que la jaquette de la boite est passée sous en camion.

Tu m'as clairement convaincu.
Je ne le ferai plus

[cissou]

je dois etre aveugle ou presque car je vois tres peu de diff sur ff et turtle in time

[Scavy]

@cissou C'est ptet parce que c'était ironique ^^

[Bkg2k]

Je n'ai pas de temps a perdre dans la démonstration absurde.

Il est evident que si je prends un screenshot en 32 couleurs réelles et que je le passe de 16M à 256 couleurs il ne subira aucun dégâts.
Il est aussi evident que sur les 2 screenshots montré en exemple, il y a moins de 256 couleurs. Par contre si vous ne voyez pas les dégâts sur le boitier Turtle ninja, l'ironie ne vous sauvera pas d'une revision chez l'ophtalmo...

Prenez les scans de boitier, ou prenez des jeux Dreamcast, ou d'autres console un peu plus évoluées coté couleurs, ou prenez simplement des mix avec des assemblages de couleurs et de dégradés un peu plus évolués que les 2 exemple absurdes du dessus, et vous allez le sentir passer avec pngquant.
On à pleuré du sang pendant des mois sur ScreenScraper après avoir passé pngquant sur tous les medias. Je sais parfaitement de quoi je parle en disant que c'est certainement pas une bonne solution générale
Ca peut s'appliquer sur les screenshots uniquement, et sur certaines consoles.

@MarbleMad @Archangel54 et @zwabikoski ne vous diront pas le contraire...

Nouvelle recette miracle! : Scrapez les vidéos, reduisez les en 24 x 16 pixels et passez les en 16 couleurs, vous allez voir! C'est révolutionnaire, on gagne une place de ouf et on y voit que du feu! (ou presque)

[Scavy]

Bonjour @Bkg2k, ni @cissou ni moi n'avons dit le contraire. Le post de @Andearoid indique que la qualité d'une image en 8 bits est ignoble par rapport à la 32 bits, et cissou dit qu'il est aveugle parce qu'il ne voit pas la différence. J'ai juste fait remarquer à cissou que le post de andrearoid était ironique (ce qui est le cas). Il n'y a aucune prise de position par rapport à son post.
Il est donc inutile d'incendier tout le monde surtout pour ce qui est évident pour tous sauf quelques uns.

[Bkg2k]

Je ne pense pas avoir incendié qui que ce soit

C'est juste qu’évangéliser une "solution miracle" qui réduit drastiquement la taille des images sans contrepartie visible, c'est un peu comme placarder

en disant "Ca marche je l'ai testé!!!"

Pourtant les gens du rétrogaming ne sont pas nés d'hier, ils devraient savoir que le père noël n'existe pas!
J'espère n'avoir spoïlé personne avec ma dernière phrase...

[SodaChaud]

Travailler avec différents formats d'images pour un support web fait partie de mon métier. Le PNG 8 bits garde clairement l'avance sur le poids de données, mais donc au détriment d'une limitation de la qualité. Car certes le PNG 24 bits peut stocker beaucoup plus de couleurs, mais il permet aussi la transparence graduelle, ce qui permet on va dire plus de souplesse pour une intégration dans différents contextes. Dans le cas du PNG 8 bits, c'est soit un pixel 100% transparent, soit 100% plein d'une couleur. C'est une caractéristique importante.
Que Screenscraper crache du PNG 24 bits je trouve pas ça déconnant, ça a le mérite de couvrir "tous" les cas d'utilisations. En fait qui peut le plus peut le moins, mais qui peut le moins peut forcément "que" le moins...

[cissou]

Je ne suis pas un puriste (sinon je n'utiliserai pas Recalbox), donc quand je disais que je ne voyais pas de différence, c'est avec un examen rapide sur l’écran de mon pc, il faudrait voir la différence sur une télé 1080p et >36"

car honnêtement, quand je choisi un jeu, je vais pas regarder à la loupe le thumbnail pour voir s'il est réaliste ou pas.

PS: effectivement en sortant la loupe, on voit des différences entre les boitiers des turles

[voljega]

@cissou ouais mais bon justement sur une télé avec un theme genre eudora affichant des images assez grosses, des jaquettes d'une résolution de moins de 800*800 apparaissent distinctement pixelisées donc bon...

[Andearoid]

Euh non pas du tout. Mon dernier message n'a rien d'ironique. On voit très clairement sur les snapshots réduits en 8 bits par pngquant que la qualité n'est pas au rendez-vous. Le pixellisation HD des jaquettes est profondément déflorée. Pas autant que sur les screenshots de jeux malencontreusement sabotés par BMP2GIF sur le serveur de ScreenScraper. Mais quand même. Il y a de quoi repousser un bouc.

Alors sur des thèmes HQ comme Epurna où les vignettes sont gigantesques... c'est même pas la peine d'y penser.

Image originale scrapée en 1440x1080p (1.52 Mo) :

Même image réduite en 8-bits par pngquant (351Ko) :

De près, on voit immédiatement sur un écran TV Ultra HD que l'image du jeu en 240p est pixélisée à mort comme dans les années 80/90. Alors que le jeu 1941 sur NEC Supergrafx pèse seulement 648ko zippé et 1Mo dézippé. Clairement ça ne vaut pas le coup.

Bkg2k a développé de lui-même un excellent logiciel de scraping. Rien que pour ça, je lui fait entièrement confiance. Il sait ce qu'il fait.