[SOFT] Skraper

[voljega]

@bruce7491 personnellement j'ai eu aucun problème pour scraper les jeux neogopocket et neogeopocketcolor avec Skraper

[bruce7491]

@bruce7491 en complément…
Le serveur distant a retourné une erreur : (400) Demande incorrecte.

ou alors j'aurais dépassé le nombre d'appel par jour qui est de 10 000 ??

[Andearoid]

@bruce7491 Je suis entrain de rescanner mes romsets avec Skraper. Hier j'ai fait les Neogeo Pocket et Neogeo Pocket Color. Pas d'erreur 400 pour ma part. Si tu passes par un proxy, un VPN ou une gateway qui encapsule tes paquets TCP pour communiquer sur Internet, ça peut être un problème de MTU qu'il faudra modifier dans ton système d'exploitation.

[Andearoid]

Pour ceux qui veulent diminuer le poids de leurs snapshots générés par Skraper, j'ai trouvé un petit utilitaire DOS qui s'appelle "pngquant". Il permet de compresser avantageusement un fichier PNG 24/32 bits en fichier PNG 8 bits. Sans aucune perte visible de qualité. Et le format est standard.

Pour se le télécharger gratuitement : [https://pngquant.org](url du lien)

Je me suis fait ce petit script à mettre dans un fichier .bat et dans le même dossier que le fichier pngquant.exe.

*-------------------------------------------
@ECHO OFF
CLS

SET targetpath="C:\recalbox\roms\megadrive\media\images"

COPY pngquant.exe %targetpath% /Y
FOR /R "%targetpath%" %%R IN (*.png) DO (
%targetpath%\pngquant.exe "%%R" --force --output "%%R"
)
DEL %targetpath%\pngquant.exe /F

PAUSE
EXIT
*----------------------------------------

Ca permet de compresser d'un coup toutes les images .PNG d'un dossier (ex: ..\media\images). Il suffit de modifier le chemin du dossier de la variable "targetpath" avec le sien.

Par exemple, dans mon cas le dossier \images des snapshots du romset Game Boy Advance passe de 761Mo à 168Mo. Et donc de libérer de l'espace disque pour blinder ma Recalbox avec d'autres romsets.

Si ça intéresse Bkg2k, il y a ici sa lib réutilisable en C# : [https://github.com/ImageOptim/libimagequant](url du lien)

[Bkg2k]

Outch! méfiance avec pngquant!

Sans aucune perte de qualité? Nous avons déjà utilisé pngquant sur ScreenScraper et ça a été un carnage total, il nous a fallu des mois pour tout rattraper.
Si sur certaines images ça passe bien, sur d'autres le résultat est simplement atroce.
Faites gaffe, passer de 16M de couleurs en 256 couleurs, même avec les algos de dithering, ça pique les yeux sévère

Il vaut mieux utiliser des utilitaires comme PngGauntlet qui augmentent la compression et retirent les metadata.

[Andearoid]

@Bkg2k Aucun carnage à déplorer de mon côté avec pngquant en mode automatique. Puisque le principe de base consiste à réduire la profondeur de couleur uniquement si c'est possible. Autrement dit, si l'image ne peut pas être codée en 8 bits, il la codera en 24 bits. Et si même en 24 bits c'est impossible, il la maintiendra en 32 bits. Il préserve également la canal alpha pour la transparence.

Image source ScreenScraper (321 ko) :

Image recompressée avec pngquant (72 ko) :

Image recompressée avec PNGGauntlet (269 ko) :

Perso à l'œil nu, je ne vois pas de différence. En revanche si je devais administrer la base d'image de ScreenScraper je stockerais sur mes serveurs tous les média en qualité optimum. Et éventuellement avant de tout compresser pour tester, je fais un backup de mes dossiers avant. Ca permet de revenir rapidement à l'état précédent. Et les tests jamais directement sur les serveurs de prod.

Peut-être tu devrais retenter avec la dernière version. L'EXE a été buildé le 28/10/2018. Il ne faut pas non plus utiliser le .bat "reduce to 256 color" fourni avec. La commande dans ce script limite le nombre de couleur à 256 et là ouhlàlà. Il vaut mieux au pire utiliser le paramètre --quality min-max avec des valeurs pas trop basses si tu as peur que la compression dégrade trop l'image.

[Bkg2k]

Ta jaquette à bien morflé avec PNQQuant
Ceci dit dans ton exemple, le screenshot de base n'est déjà pas bon, il a morflé. Il reste encore des images qui ont subit les dégats de pngquant et qui n'ont pas été remplacées

[Andearoid]

@bkg2k Si l'image hideuse du jeu de baseball a été sabotée sur le serveur par pngquant, permet moi de refaire une comparaison à partir d'un bon screenshot du jeu Fatal Fury.

Snapshot 32 bits produite par Skraper (333ko) :

Même snapshot réduit à 8 bits avec pngquant (79ko) :

J'avoue la qualité en 8 bits est vraiment ignoble.
C'est à vomir sur son Raspberry Pi.

Encore un dernier pour me faire pleurer.

Snapshot ScreenScraper (360ko) :

Snapshot compressé (81ko) :

La vache. Ca me pique encore plus les yeux que dans les manifs.
On dirait que la jaquette de la boite est passée sous en camion.

Tu m'as clairement convaincu.
Je ne le ferai plus

[cissou]

je dois etre aveugle ou presque car je vois tres peu de diff sur ff et turtle in time

[Scavy]

@cissou C'est ptet parce que c'était ironique ^^

[Bkg2k]

Je n'ai pas de temps a perdre dans la démonstration absurde.

Il est evident que si je prends un screenshot en 32 couleurs réelles et que je le passe de 16M à 256 couleurs il ne subira aucun dégâts.
Il est aussi evident que sur les 2 screenshots montré en exemple, il y a moins de 256 couleurs. Par contre si vous ne voyez pas les dégâts sur le boitier Turtle ninja, l'ironie ne vous sauvera pas d'une revision chez l'ophtalmo...

Prenez les scans de boitier, ou prenez des jeux Dreamcast, ou d'autres console un peu plus évoluées coté couleurs, ou prenez simplement des mix avec des assemblages de couleurs et de dégradés un peu plus évolués que les 2 exemple absurdes du dessus, et vous allez le sentir passer avec pngquant.
On à pleuré du sang pendant des mois sur ScreenScraper après avoir passé pngquant sur tous les medias. Je sais parfaitement de quoi je parle en disant que c'est certainement pas une bonne solution générale
Ca peut s'appliquer sur les screenshots uniquement, et sur certaines consoles.

@MarbleMad @Archangel54 et @zwabikoski ne vous diront pas le contraire...

Nouvelle recette miracle! : Scrapez les vidéos, reduisez les en 24 x 16 pixels et passez les en 16 couleurs, vous allez voir! C'est révolutionnaire, on gagne une place de ouf et on y voit que du feu! (ou presque)

[Scavy]

Bonjour @Bkg2k, ni @cissou ni moi n'avons dit le contraire. Le post de @Andearoid indique que la qualité d'une image en 8 bits est ignoble par rapport à la 32 bits, et cissou dit qu'il est aveugle parce qu'il ne voit pas la différence. J'ai juste fait remarquer à cissou que le post de andrearoid était ironique (ce qui est le cas). Il n'y a aucune prise de position par rapport à son post.
Il est donc inutile d'incendier tout le monde surtout pour ce qui est évident pour tous sauf quelques uns.

[Bkg2k]

Je ne pense pas avoir incendié qui que ce soit

C'est juste qu’évangéliser une "solution miracle" qui réduit drastiquement la taille des images sans contrepartie visible, c'est un peu comme placarder

en disant "Ca marche je l'ai testé!!!"

Pourtant les gens du rétrogaming ne sont pas nés d'hier, ils devraient savoir que le père noël n'existe pas!
J'espère n'avoir spoïlé personne avec ma dernière phrase...

[SodaChaud]

Travailler avec différents formats d'images pour un support web fait partie de mon métier. Le PNG 8 bits garde clairement l'avance sur le poids de données, mais donc au détriment d'une limitation de la qualité. Car certes le PNG 24 bits peut stocker beaucoup plus de couleurs, mais il permet aussi la transparence graduelle, ce qui permet on va dire plus de souplesse pour une intégration dans différents contextes. Dans le cas du PNG 8 bits, c'est soit un pixel 100% transparent, soit 100% plein d'une couleur. C'est une caractéristique importante.
Que Screenscraper crache du PNG 24 bits je trouve pas ça déconnant, ça a le mérite de couvrir "tous" les cas d'utilisations. En fait qui peut le plus peut le moins, mais qui peut le moins peut forcément "que" le moins...

[cissou]

Je ne suis pas un puriste (sinon je n'utiliserai pas Recalbox), donc quand je disais que je ne voyais pas de différence, c'est avec un examen rapide sur l’écran de mon pc, il faudrait voir la différence sur une télé 1080p et >36"

car honnêtement, quand je choisi un jeu, je vais pas regarder à la loupe le thumbnail pour voir s'il est réaliste ou pas.

PS: effectivement en sortant la loupe, on voit des différences entre les boitiers des turles

[voljega]

@cissou ouais mais bon justement sur une télé avec un theme genre eudora affichant des images assez grosses, des jaquettes d'une résolution de moins de 800*800 apparaissent distinctement pixelisées donc bon...

[Andearoid]

Euh non pas du tout. Mon dernier message n'a rien d'ironique. On voit très clairement sur les snapshots réduits en 8 bits par pngquant que la qualité n'est pas au rendez-vous. Le pixellisation HD des jaquettes est profondément déflorée. Pas autant que sur les screenshots de jeux malencontreusement sabotés par BMP2GIF sur le serveur de ScreenScraper. Mais quand même. Il y a de quoi repousser un bouc.

Alors sur des thèmes HQ comme Epurna où les vignettes sont gigantesques... c'est même pas la peine d'y penser.

Image originale scrapée en 1440x1080p (1.52 Mo) :

Même image réduite en 8-bits par pngquant (351Ko) :

De près, on voit immédiatement sur un écran TV Ultra HD que l'image du jeu en 240p est pixélisée à mort comme dans les années 80/90. Alors que le jeu 1941 sur NEC Supergrafx pèse seulement 648ko zippé et 1Mo dézippé. Clairement ça ne vaut pas le coup.

Bkg2k a développé de lui-même un excellent logiciel de scraping. Rien que pour ça, je lui fait entièrement confiance. Il sait ce qu'il fait.

[Bkg2k]

@andearoid disons que si j'avais pu mieux compresser les images resultantes et retirer les meta-data, je l'aurais fait (au moins proposé en option), mais malheureusement les librairies de base de .NET ne sont pas optimales du tout pour ce genre de manipulation.

J'avais repéré une autre librairie sympa, mais c'est un gros boulot, et je n'ai jamais eu le temps de la mettre en oeuvre

J'ai ptet quelqu'un qui va pouvoir bosser sur Skraper avec moi, du coup je vais pouvoir déléguer quelques chantiers! J'avoue que Recalbox + Skraper, me faudrait des journées de 48h

[Andearoid]

@bkg2k Il n'y a pas péril en la demeure. Skraper fait déjà très bien l'essentiel du boulot. C'est vraiment très appréciable. J'ai testé d'autres outils de compression comme PNGCrush et ADVpng, mais le gain est proche de peanuts par rapports aux PNG originaux en 32 bits.

Si tu ne veux pas t'emmerder avec des libs tierces, en C# tu peux facilement créer un thread et appeler avec celui-ci un .EXE externe dans une fenêtre masquée. Ca évite de devoir maintenir du code qui ne t'appartient pas. Surtout quand certaines méthodes deviennent obsolètes.

[Eptdqcn41700]

Bonjour a tous,

Léger problème avec Skraper ( hormis les sursauts actuels )
Je lance le scrap pour récupérer les vidéos, systèmes par systèmes.
Megadrive => Long mais la quasi totalité des médias sont là au redémarrage
Gb => roms no found
snes => error scanning D:/ ***
Neogeo => En cours mais a l’air de fonctionner.

Pourquoi les roms de certains systèmes ne serait pas trouvés ?

Je stocke sur une clé de moyenne qualité, mais je ne comprends pas pourquoi megadrive et pas snes ?

Merci d’Avance