Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Skraper

    Community projects
    [soft] skraper
    76
    305
    165247
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • Wilhinsi
      Wilhinsi last edited by

      text alternatif

      1 Reply Last reply Reply Quote 0
      • Vini77
        Vini77 @Bkg2k last edited by

        @bkg2k said in [SOFT] Skraper:

        Le serveur ScreenScraper fait face a une charge énorme en ce moment 😉 Il faut vérifier sur le site si les APIs sont bien ouvertes à tout monde (il y a des périodes de fermeture si la charge est trop forte)

        Couper et réessayer permet parfois de débloquer la situation.

        Sinon il faut attendre les périodes moins chargées, comme la nuit, tot le matin, ou en semaine.

        Bonjour cher Bkg2k ! As-tu par hasard une idée de quand sera disponible la version 32bits de Skraper stp ?! Merci beaucoup car je suis actuellement bloqué pour mes scraps... 😕

        Vini77 1 Reply Last reply Reply Quote 0
        • Vini77
          Vini77 @Vini77 last edited by

          @vini77 said in [SOFT] Skraper:

          @bkg2k said in [SOFT] Skraper:

          Le serveur ScreenScraper fait face a une charge énorme en ce moment 😉 Il faut vérifier sur le site si les APIs sont bien ouvertes à tout monde (il y a des périodes de fermeture si la charge est trop forte)

          Couper et réessayer permet parfois de débloquer la situation.

          Sinon il faut attendre les périodes moins chargées, comme la nuit, tot le matin, ou en semaine.

          Bonjour cher Bkg2k ! As-tu par hasard une idée de quand sera disponible la version 32bits de Skraper stp ?! Merci beaucoup car je suis actuellement bloqué pour mes scraps... 😕

          Sinon est-ce-que tu pourrais me filer l'ancienne version de Skraper stp...?
          Merci d'avance !!! 😁👍

          Andearoid 1 Reply Last reply Reply Quote 0
          • Andearoid
            Andearoid @Vini77 last edited by

            Bonjour,

            Je cherchais un moyen de scraper plus proprement un fullset MAME 2016 et en cherchant une alternative à UXS je suis tombé sur Skraper. L'ergonomie est excellente et la possibilité de faire un réglage pour chaque système vraiment appréciable. Malgré le CPU de la machine que j'utilise il performe rapidement et sans plantage. Félicitation à son auteur.

            J'ai juste 3 notes à lui remonter :

            . A la fin du scrap j'ai parfois dans les logs un message d'erreur "Error in game loop!" en rouge et le compteur de jeux scrapés reste à 324/325. pourtant le fichier gamelist.xml et gamelist.Missing.Serial.txt sont convenablement générés. J'ai lancé le scrap sur le même set de roms plusieurs fois avec les mêmes réglages, ce message d'erreur apparait aléatoirement. Même constatation avec d'autres set de roms.

            . J'ai un fullset FDS (Nintendo Family Disk System) No-Intro 0 missing validé avec ClrMamePro. Quand je scrap ce fullset avec UXS j'ai 3 roms non trouvées. Quand je scrap ce même fullset avec Skraper j'ai 13 roms non trouvées. Dans les réglages des 2 logiciels j'utilise CRC + nom du fichier. Les 2 logiciels s'appuient sur les bases de données de ScreenScraper.fr. La pertinence des résultats devrait être identique. Je pense.

            . UXS enregistre les snapshots avec une profondeur de couleur 8 bits. Skraper enregistre les snapshots avec une profondeur de couleur 32 bits. Une même image en 32 bits pèsent 250Ko pour 60Ko en 8 bits. Résultat, les snapshots prennent moins de places sur le disque dur lorsqu'ils sont générés avec UXS. Surtout quand il y en a beaucoup. Et à l'oeil nu, sur un écran de TV la qualité est la même. La possibilité de choisir la profondeur de couleur dans l'onglet Médias serait là bienvenue.

            Je n'ai pas trouvé de bugtracker ou de lien pour contacter l'auteur directement sur le site de Skraper. J'ai l'impression que ça se gère ici avec Bkg2k. Ma version de Skraper affiche 1.0.19164 Build #3069. Je pense que c'est une Beta 8 (téléchargée et installée il y a 5 ou 6 jours max). J'espère que cela pourra lui être utile.

            Scavy 1 Reply Last reply Reply Quote 0
            • Scavy
              Scavy Global moderator @Andearoid last edited by

              @andearoid Ben en fait, ça se gère bien avec bkg2k, c'est le développeur de Skraper ^^

              • RPi0w : GPi Case
              • RPi4-2Go : Nespi4case - SN30 pro+ & PS3 DualShock pads - Logitech M170 (BT) keyboard/mouse set
              • Odroid Go Advance & Go Super
              • PC : CPU i5 core 2.8/3.4 GHz - GPU GeForce 850M - RAM 8Go DDR3L
              Bkg2k 1 Reply Last reply Reply Quote 0
              • Bkg2k
                Bkg2k Staff @Scavy last edited by

                @scavy chut, vendu 😛

                Scavy Andearoid 2 Replies Last reply Reply Quote 0
                • Scavy
                  Scavy Global moderator @Bkg2k last edited by

                  @bkg2k Le dirais plus patron ^^

                  • RPi0w : GPi Case
                  • RPi4-2Go : Nespi4case - SN30 pro+ & PS3 DualShock pads - Logitech M170 (BT) keyboard/mouse set
                  • Odroid Go Advance & Go Super
                  • PC : CPU i5 core 2.8/3.4 GHz - GPU GeForce 850M - RAM 8Go DDR3L
                  1 Reply Last reply Reply Quote 0
                  • Andearoid
                    Andearoid @Bkg2k last edited by

                    @bkg2k Je ne cherche pas à être désagréable.

                    Depuis l'autre jour, j'ai fait d'autres scrapes de sets consoles avec Skraper et en modifiant l'ordre de priorité des langues et des régions (le même que celui que j'avais par défaut dans UXS), à la fin du scrap (bonne surprise), j'obtiens moins de jeux non trouvés qu'avec les réglages par défaut.

                    Dans l'onglet Divers, dans le champ Langue j'ai mis : fr,en,wor (au lieu de : fr,en) et pour Régions : fr,eu,wor,ss,us,jp,cus (au lieu de : fr,eu,us,jp,wor,ss). A première vue, ça ne devrait pas changer grand chose. Et pourtant. En scrapant mon set Family Disk System je n'ai plus que 4 non trouvés au lieu de 13.

                    Pour les autres romsets que j'ai scrapé avec UXS et Skraper, voici les scores que j'obtiens à présent. Mes romsets sont tous managés avec ClrMamePro et les .dat No-Intro. Le CRC et le filename de chaque roms sont donc référencés et vérifiés.

                    Family Disk System (325 roms)
                    UXS : 3 missing
                    Skraper : 4 missing

                    Famicom (2834 roms)
                    UXS : 115 missing
                    Skraper : 94 missing

                    Satellaview (256 roms)
                    UXS : 50 missing
                    Skraper : 50 missing

                    Master System (580 roms)
                    UXS : 31 missing
                    Skraper : 30 missing

                    Game Boy (1644 roms)
                    UXS : 81 missing
                    Skraper : 72 missing

                    Game Gear (512 roms)
                    UXS : 20 missing
                    Skraper : 20 missing

                    Avec ces nouveaux réglages Langues/Régions, on peut dire que Skraper se débrouille aussi bien que UXS. Et même souvent mieux. J'ai vu sur le site de ScreenScraper qu'il y avait une API 1 et une API 2 (béta). C'est sans doute ce qui explique les quelques différences entre les 2 outils.

                    J'ai constaté aussi qu'en faisant plusieurs scrapes d'affilés avec Skraper, j'avais parfois moins de missing. Avec le romset Game Boy j'ai eu d'abord 80 missing, puis 74 missing, puis 72 missing. Mais je n'arrive plus à descendre en-dessous. Peut-être aussi une histoire de requêtes en cache sur les serveurs de ScreenScraper. Parfois il suffit qu'on tape un front au lieu d'un autre, et puis le résultat final varie un peu.

                    Par rapport aux autres scrapers que j'ai testé, Skraper est vraiment bien pensé. Je vais juste essayer de me trouver un outil en ligne de commande pour convertir les .png 32 bits en 8 bits. Afin de gagner de la place sur le disque dur. Sur des gros sets comme celui de la Game Boy ou de la Famicom, ça permet de gagner plusieurs 100aines de Mo. Et donc d'ajouter d'autres sets pour blinder sa Recalbox ^^

                    Bkg2k 1 Reply Last reply Reply Quote 0
                    • Bkg2k
                      Bkg2k Staff @Andearoid last edited by

                      @andearoid en effet UXS utilise l'API v1, et Skraper la v2.
                      Il reste, à priori, quelques soucis coté Server ScreenScraper, ce qui explique les differences que tu peux avoir d'un scrape a un autre. On attend que le grand Maître de ScreenScraper rentre pour s'y attaquer 😉

                      Andearoid 1 Reply Last reply Reply Quote 0
                      • bruce7491
                        bruce7491 last edited by

                        salut à tous
                        je découvre skraper, outil de scrap génial
                        cependant là ou uxs pouvait scraper sans problème les jeux neogeo Pocket par exemple, avec skraper rien est scrapé
                        pour atari c'est ok par contre… bizarre non ?
                        une piste ?

                        voljega bruce7491 2 Replies Last reply Reply Quote 0
                        • voljega
                          voljega Banned @bruce7491 last edited by

                          @bruce7491 personnellement j'ai eu aucun problème pour scraper les jeux neogopocket et neogeopocketcolor avec Skraper

                          1 Reply Last reply Reply Quote 0
                          • bruce7491
                            bruce7491 @bruce7491 last edited by bruce7491

                            @bruce7491 en complément…
                            Le serveur distant a retourné une erreur : (400) Demande incorrecte.

                            ou alors j'aurais dépassé le nombre d'appel par jour qui est de 10 000 ??

                            Andearoid 1 Reply Last reply Reply Quote 0
                            • Andearoid
                              Andearoid @bruce7491 last edited by

                              @bruce7491 Je suis entrain de rescanner mes romsets avec Skraper. Hier j'ai fait les Neogeo Pocket et Neogeo Pocket Color. Pas d'erreur 400 pour ma part. Si tu passes par un proxy, un VPN ou une gateway qui encapsule tes paquets TCP pour communiquer sur Internet, ça peut être un problème de MTU qu'il faudra modifier dans ton système d'exploitation.

                              1 Reply Last reply Reply Quote 0
                              • Andearoid
                                Andearoid @Bkg2k last edited by

                                Pour ceux qui veulent diminuer le poids de leurs snapshots générés par Skraper, j'ai trouvé un petit utilitaire DOS qui s'appelle "pngquant". Il permet de compresser avantageusement un fichier PNG 24/32 bits en fichier PNG 8 bits. Sans aucune perte visible de qualité. Et le format est standard.

                                Pour se le télécharger gratuitement : [https://pngquant.org](url du lien)

                                Je me suis fait ce petit script à mettre dans un fichier .bat et dans le même dossier que le fichier pngquant.exe.

                                *-------------------------------------------
                                @ECHO OFF
                                CLS

                                SET targetpath="C:\recalbox\roms\megadrive\media\images"

                                COPY pngquant.exe %targetpath% /Y
                                FOR /R "%targetpath%" %%R IN (*.png) DO (
                                %targetpath%\pngquant.exe "%%R" --force --output "%%R"
                                )
                                DEL %targetpath%\pngquant.exe /F

                                PAUSE
                                EXIT
                                *----------------------------------------

                                Ca permet de compresser d'un coup toutes les images .PNG d'un dossier (ex: ..\media\images). Il suffit de modifier le chemin du dossier de la variable "targetpath" avec le sien.

                                Par exemple, dans mon cas le dossier \images des snapshots du romset Game Boy Advance passe de 761Mo à 168Mo. Et donc de libérer de l'espace disque pour blinder ma Recalbox avec d'autres romsets.

                                Si ça intéresse Bkg2k, il y a ici sa lib réutilisable en C# : [https://github.com/ImageOptim/libimagequant](url du lien)

                                1 Reply Last reply Reply Quote 0
                                • Bkg2k
                                  Bkg2k Staff last edited by Bkg2k

                                  Outch! méfiance avec pngquant!

                                  Sans aucune perte de qualité? Nous avons déjà utilisé pngquant sur ScreenScraper et ça a été un carnage total, il nous a fallu des mois pour tout rattraper.
                                  Si sur certaines images ça passe bien, sur d'autres le résultat est simplement atroce.
                                  Faites gaffe, passer de 16M de couleurs en 256 couleurs, même avec les algos de dithering, ça pique les yeux sévère 🙂

                                  Il vaut mieux utiliser des utilitaires comme PngGauntlet qui augmentent la compression et retirent les metadata.

                                  1 Reply Last reply Reply Quote 2
                                  • Andearoid
                                    Andearoid last edited by

                                    @Bkg2k Aucun carnage à déplorer de mon côté avec pngquant en mode automatique. Puisque le principe de base consiste à réduire la profondeur de couleur uniquement si c'est possible. Autrement dit, si l'image ne peut pas être codée en 8 bits, il la codera en 24 bits. Et si même en 24 bits c'est impossible, il la maintiendra en 32 bits. Il préserve également la canal alpha pour la transparence.

                                    Image source ScreenScraper (321 ko) :
                                    text alternatif

                                    Image recompressée avec pngquant (72 ko) :
                                    text alternatif

                                    Image recompressée avec PNGGauntlet (269 ko) :
                                    text alternatif

                                    Perso à l'œil nu, je ne vois pas de différence. En revanche si je devais administrer la base d'image de ScreenScraper je stockerais sur mes serveurs tous les média en qualité optimum. Et éventuellement avant de tout compresser pour tester, je fais un backup de mes dossiers avant. Ca permet de revenir rapidement à l'état précédent. Et les tests jamais directement sur les serveurs de prod.

                                    Peut-être tu devrais retenter avec la dernière version. L'EXE a été buildé le 28/10/2018. Il ne faut pas non plus utiliser le .bat "reduce to 256 color" fourni avec. La commande dans ce script limite le nombre de couleur à 256 et là ouhlàlà. Il vaut mieux au pire utiliser le paramètre --quality min-max avec des valeurs pas trop basses si tu as peur que la compression dégrade trop l'image.

                                    1 Reply Last reply Reply Quote 0
                                    • Bkg2k
                                      Bkg2k Staff last edited by Bkg2k

                                      Ta jaquette à bien morflé avec PNQQuant 🙂
                                      Ceci dit dans ton exemple, le screenshot de base n'est déjà pas bon, il a morflé. Il reste encore des images qui ont subit les dégats de pngquant et qui n'ont pas été remplacées 😞

                                      Andearoid 1 Reply Last reply Reply Quote 0
                                      • Andearoid
                                        Andearoid @Bkg2k last edited by

                                        @bkg2k Si l'image hideuse du jeu de baseball a été sabotée sur le serveur par pngquant, permet moi de refaire une comparaison à partir d'un bon screenshot du jeu Fatal Fury.

                                        Snapshot 32 bits produite par Skraper (333ko) :
                                        text alternatif

                                        Même snapshot réduit à 8 bits avec pngquant (79ko) :
                                        text alternatif

                                        J'avoue la qualité en 8 bits est vraiment ignoble.
                                        C'est à vomir sur son Raspberry Pi.

                                        Encore un dernier pour me faire pleurer.

                                        Snapshot ScreenScraper (360ko) :
                                        text alternatif

                                        Snapshot compressé (81ko) :
                                        text alternatif

                                        La vache. Ca me pique encore plus les yeux que dans les manifs.
                                        On dirait que la jaquette de la boite est passée sous en camion.

                                        Tu m'as clairement convaincu.
                                        Je ne le ferai plus 🙂

                                        1 Reply Last reply Reply Quote 0
                                        • cissou
                                          cissou last edited by

                                          je dois etre aveugle ou presque car je vois tres peu de diff sur ff et turtle in time

                                          Dell 3020M + X360 sans fil
                                          Bartop Modulaire : Rpi3
                                          Gpi case rpi0 -sans W- [oui je suis un fou]

                                          Scavy 1 Reply Last reply Reply Quote 0
                                          • Scavy
                                            Scavy Global moderator @cissou last edited by

                                            @cissou C'est ptet parce que c'était ironique ^^

                                            • RPi0w : GPi Case
                                            • RPi4-2Go : Nespi4case - SN30 pro+ & PS3 DualShock pads - Logitech M170 (BT) keyboard/mouse set
                                            • Odroid Go Advance & Go Super
                                            • PC : CPU i5 core 2.8/3.4 GHz - GPU GeForce 850M - RAM 8Go DDR3L
                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            71
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com