[SOFT] Universal XML Scraper V2

[SUCREFREEMAN]

@screech ,Bonjour, tout d'abord merci pour ton formidable Job!

J'ai un soucis pour scrapper mes 247 roms neo geo. La totalité de mes roms est reconnu par xml scraper (format 3images) ou directement par la recalbox par screenscraper, cependant aucun affichage dans la liste des jeux sous recalbox.

Je retrouve bien les images téléchargées dans le fichier néo géo/downloaded_images, en revanche mon fichier gamelist.xml reste vide pour la néo géo, je ne procède pourtant pas différement que pour mon pack nes,supernes...

Aurais tu une idée car j'avoue que je ne sais plus ou chercher.

D'avance merci

[jaworski75]

Bonjour à tous,

Les scan des boites de jeux étant un peu petits pour mon thème (Bigshot Eudora), je voulais savoir comment je pouvais charger mes propres images.
Sur XML, j'ai choisi uniquement la face avant de la boite en 2D mais j'aimerais remplacer les scans de la bank d'image screenscraper par mes propres visuels.
Est ce que c'est possible?
Merci d'avance pour votre aide!

[screech]

@SUCREFREEMAN as tu essayé de "supprimer" ton fichier gamelist.xml avant le scrape. J'ai entendu parler de fichier corrompu qui posait probleme.

@jaworski75 ce n'est pas possible malheureusement.
Par contre, tu peux "changer" la résolution dans le menu config / option Image. En fonction des systemes la résolution n'est pas "toujours" identique. Mais tu peux avoir la résolution "d'origine" ou une interpolation si tu veux vraiment l'image en "très" grand...
(De toutes façon, hormis si tu as une collection perso de front 2D de malade, je doute que tu trouve beaucoup de Front en aussi grande quantité dans une qualité raisonnable sur le net...)

[jaworski75]

Merci pour les infos Screech, je vais tester cette option.
J'ai une autre question : j'ai vu sur le site screenscraper qu'il y a les dos des boites que j'aimerais beaucoup utiliser dans des "Mix" mais je ne vois pas cette possibilité dans Xml.
Y a t il un endroit où je pourrais trouver ce genre de templates? Est ce compliquer à créer soi même? Je n'aurais pas de pb pour la partie photoshop mais je n'y connais rien en prog/code....

[screech]

@jaworski75 En fait, tu peux créer tes MIX toi même

https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/[TUTO]-Making-a-MIX-Template

[voljega]

@screech said in [SOFT] Universal XML Scraper V2:

Par contre, tu peux "changer" la résolution dans le menu config / option Image. En fonction des systemes la résolution n'est pas "toujours" identique. Mais tu peux avoir la résolution "d'origine" ou une interpolation si tu veux vraiment l'image en "très" grand...
(De toutes façon, hormis si tu as une collection perso de front 2D de malade, je doute que tu trouve beaucoup de Front en aussi grande quantité dans une qualité raisonnable sur le net...)

L'interpolation n'interpole que dalle, ça sera la résolution d'origine ou rien....

Après pas mal de scrape avec UXS ça passe a peu près correctement pour les consoles de salon même avec les eudora big...
Par contre les consoles portables, GB ou autres, c'est la cata, c'est pixellisé.

En gros il faut que la plus petite des dimensions fasse 700 ou 800 px pour que ça s'affiche correctement.

Et avec l'avènement des très grosses résolutions dont la 4K n'est que le début, un gros chantier de recapture de jaquette en très grosse qualité (1000 px minimum pour la dimension voire 2000 px) semble inévitable...

Et aussi sur screenscraper en tout cas il y a un moment (pas rescrapé avec depuis un an ou presque) les images de jaquettes ne sont pas très clean, balance des couleurs souvent fade et/ou mauvais découpage de l'image avec des barres blanches sur le côté ou des images légèrement bancales

[screech]

@voljega Tu attends donc que UXS te sorte des images full hd nickel de screenshot d'une console portable dont la résolution d'origine était 160x144 pixels.... Ok...
Et tu attends aussi que Screenscraper soit 100% perfect sur tout les medias que les bénévoles ont gracieusement mis à dispo dans la BDD... Ok...

Proposition : trouve nous des screenshot perfect full hd de gamegear et participe avec la communauté au remplissage de la base de Screenscraper en les proposant. On se fera un plaisir de les héberger....

[voljega]

@screech said in [SOFT] Universal XML Scraper V2:

Tu attends donc que UXS te sorte des images full hd nickel de screenshot d'une console portable dont la résolution d'origine était 160x144 pixels.... Ok...

Le mot 'jaquette' était important dans ma phrase et je répondais à une de tes phrases sur les front 2D
Les screenshots quelque soit leur résolution sortent parfaitement sur des grosses résolutions étant donnés qu'ils sont déjà pixellisés.

Et je parle de chantier de 'recapture' qui n'a rien à voir en soit avec screenscraper et qui nécessite les boitiers originaux...

Et tu attends aussi que Screenscraper soit 100% perfect sur tout les medias que les bénévoles ont gracieusement mis à dispo dans la BDD... Ok...

Non je dis juste qu'un petit filtre automatique pour la balance des couleurs et le contraste lors de l'import des images serait une bonne solution, pour cropper les images ce doit bien sûr être fait manuellement.

Enfin mon commentaire concernait plus le futur des bases de données de scraping du jeu vidéo en général que screenscraper en particulier, sans recapture en bien meilleur qualité des medias (hors screenshots) ils seront de plus en plus pixellisés / moches sur des télés à la résolution de plus en plus grande...

Et d'une certaine façon c'est déjà le cas, impossible d'utiliser le theme Eudora avec affichage de la pochette en très grand sur une télé 4K, il faut prendre celui avec les pochettes de taille moyenne pour limiter un peu la casse.

(De toutes façon, hormis si tu as une collection perso de front 2D de malade, je doute que tu trouve beaucoup de Front en aussi grande quantité dans une qualité raisonnable sur le net...)

Proposition : trouve nous des screenshot perfect full hd de gamegear et participe avec la communauté au remplissage de la base de Screenscraper en les proposant. On se fera un plaisir de les héberger....

Ben pour tout ce qui est boxart front 2D Game Boy ou Game Gear, on trouve très facilement des images de meilleure qualité (encore un poil limite mais c'est mieux) sur Google Images par exemple.
Ou dans d'autres bases de scraping.

[kevinnash]

@voljega said in [SOFT] Universal XML Scraper V2:

Enfin mon commentaire concernait plus le futur des bases de données de scraping du jeu vidéo en général que screenscraper en particulier, sans recapture en bien meilleur qualité des medias (hors screenshots) ils seront de plus en plus pixellisés / moches sur des télés à la résolution de plus en plus grande...

La résolution de la télé n'est absolument pas le problème puisqu'elle upscale pour remplir l'écran.

C'est la taille de la télé le problème sur un écran de 65 pouces comme le mien tu auras la même pixellisation, que la télé soit en 4K ou en full HD.

[voljega]

@kevinnash non hein le résultat d'un upscaling d'une image de 500 par 500 censé s'afficher sur 3/4 de l'écran vers du 4k ou du 1080p ça donne pas la même chose c'est pas de la magie.

Dans le cas de la 4K t'auras forcément 2* plus de pixels interpolés en hauteur que dans le cas de la 1080p. Pareil en largeur, donc 4* plus au final

Que la différence entre les deux ne soit pas hyper visible ok mais qu'est ce que ça va être dans 10 ans ....

[kevinnash]

Tu as tort, ça donne exactement la même chose à taille d'écran égale, l'upscale multiplie simplement les pixels.

A l'inverse si ton écran était tout petit ton image ne serait pas pixellisée, que l'écran soit full HD ou 4K.

Mais je ne vais pas m'étendre, ce n'est pas le sujet.

[screech]

Bon désolé, faut que j’arrête de répondre le matin au réveil sans café dans les veines à la relecture de mon post, je suis un peu "virulent"

Donc si je reprend : La qualité des médias de ScreenScraper (et donc d'UXS) dépend énormément (voir exclusivement) des médias proposés par les utilisateurs et ceux récupérés à droite à gauche...

Notre rêve serait de trouver un (ou plusieurs) énorme collectionneur prêt à scanner en très haute définition leur(s) collection(s) complète de covers.
Le problème c'est qu'on en connait pas

On a quand même la chance d'avoir certains "inscrits" qui nous scan leur propre média. En règle général on essaie de récupérer ce qu'il y a de mieux sur le net. Mais concrètement ce n'est pas toujours possible... Et si la qualité d'un média est pourris, tous le monde à la possibilité d'ajouter un media de meilleur qualité

Après, un autre point à prendre en compte c'est l'espace de stockage...
Wheel : 33367
Screenshot : 60850
Vidéo : 27015
Texture Boitier : 26831
Texture Support : 9212
Marquee : 2429
ScreenMarquee : 18739

Si on avait tous en 2400x2400 on arriverait vite en saturation de stockage

mais (spoiler alerte) on change bientot de serveur pour encore plus performant et avec beaucoup plus d'espace

Enfin, en fonction des systèmes, une covers complète c'est autour de 1000x700. Ce qui est tout de même très raisonnable, même sur un écran Full HD (quelque soit sa taille ) bon sur du 4K, faut faire un x2 en interpolation, mais comme je disais (pas forcement gentiment ) :
"Qui joue à des jeux qui ont une résolution d'origine de 160x144 sur un écran 4K ?????"
Si c'est le cas, revendez votre télé 4K et achetez un énorme écran CRT ^^ ça passera mieux
(J'imagine effectivement dans 10 ans : "héhé, j'ai ma télé de 16m sur 9 en 360K, la cover pareil, j'ai fait un agrandissement format affiche de cinéma d'une boite en carton qui faisait 12 cm sur 12 à l'epoque. Le jeu ? oui oui, c'est le petit carré de 3 cm sur 3 au milieu la... je joue en pixel perfect dans la résolution d'origine, je suis un puriste moi..." )

Encore une fois le débat est un peu différent entre : "les médias sont dans une résolution trop faible." et "est-ce vraiment pertinent qu'ils soient dans une résolution plus importante ?"

à titre d'exemple (parmi des milliers) voila le genre de cover présente sur ScreenScraper :
https://www.screenscraper.fr/medias/114/106865/box-texture(jp).png

Il s'agit d'un scan d'original d'un de nos membres. (Merci Biblo)

(bon après on a aussi des trucs affreux, et on limite au maximum, il n'y a vraiment que pour les trucs introuvable qu'on garde... mais à la limite on peut lancer un sondage : "vous préférez avoir un scrape 'complet' mais avec quelques trucs moches" ou "rien du tout" ?)

Et tant qu'on est dans les stats :
Voici mes propres stats de "validation" sur Screenscraper :
Media "modérés" : 34650 Validé : 24212 Refusé : 10353
(ça te donne une petite idée de la modération effectuée sur ScreenScraper )

Voila, donc en gros : on fait au mieux et si c'est pas assez viendez nous aider ^^

[DacK]

@screech said in [SOFT] Universal XML Scraper V2:

à titre d'exemple (parmi des milliers) voila le genre de cover présente sur ScreenScraper :
https://www.screenscraper.fr/medias/114/106865/box-texture(jp).png

Oh punaise ! J'ai encore la VHS du 1er ep en animé... désolé pour le HS, mais j'avais adoré ce truc quand j'étais un jeunot...

Pour revenir au sujet, la bdd reste très vivante, le temps fera le reste... L'idéal serait, en effet, des images hi-res (c'est le graphiste qui parle) avec un traitement à la demande, mais ça reste un travail considérable...
A titre perso, je préfère une base complète à une base qui n'a que du hi-res mais moins complète.

[voljega]

@screech merci pour les précisions.

Après le stockage devoent un problème côté recalbox aussi par exemple mon set cpc les jaquettes et les manuels prennent beaucoup plus de place que les roms elles-mêmes

[Archangel54]

@screech Bonjour et merci pour ton logiciel, je n'arrive plus à m'en passer...

Voici un cas sur lequel je suis tombé et qui ne doit pas être isolé à mon avis :
Le scrappe du jeu "World Series Baseball '95" sur Megadrive me donne comme genre "Action". Sur le site screenscraper.fr, il y a 2 genres renseignés : "Action" et "Sport".

Donc ma question est la suivante : serait-il possible avec UXS de "récupérer" et, pourquoi pas combiner, tous les genres disponibles pour un jeu ?

Cordialement, Mickaël.

[Grosj]

Bonjour,

Pour info je n'arrivais pas a lancer une recherche dans Universal Xml Scraper V2 pour l'amiga. J'ai juste rajouté l’extension dans édition/ Configuration générale/ fichiers scrapés: *.adf;

Voilà si ça peut aider.

[gothrek]

Hi man,
maybe u just answer before, but i dont found it.

There is a possibility to scrape only 1 time a multi disc game, without editing 1by1.

tks

[chris256]

Bonjour à tous !

Il y a des jeux amiga (WHDLoad) qui n'étaient pas reconnus par Universal XML Scraper. Du coup, je suis allé vérifié sur screenscraper.fr et j'ai renommé en fonction. Par contre, certains sont récalcitrants et ne passent pas. J'ai par exemple le fichier Astatin (Europe).uae qui n'est pas retrouvé (il est dans le fichier "_Amiga_missing.txt") alors que c'est bien un nom qui existe sur Screenscraper.fr (lien ici). Et ce n'est pas un cas isolé. Est-ce que quelqu'un a une idée de ce qui se passe ?

Merci !!

[chris256]

@chris256 Bon j'ai trouvé. Souci de mon côté uniquement... Ne tenez pas compte du message...

[noda]

Salut @screech et merci pour ton logiciel!

J'ai quelques isos PSX qui restent en missing, serait-ce possible de les rajouter à la DB? Merci!

B****y Roar 2 - Bringer of the New Age (USA).pbp                          338 070 067    13:18.00 2014-07-12    22C5F557E7E0CC548E2F7D03794A249B
Colin McRae Rally 2.0 (Europe).pbp                                        403 029 635    11:42.00 2014-07-12    385DC7CF12769D05EE5ABF67025E45A5
Future Cop L.A.P.D (USA).pbp                                              288 029 619    12:56.00 2017-05-14    9C95685AF7191E5E559C8C67E8C9857D
Little Big Adventure - Twinsen's Adventure (Europe).pbp                   534 903 020    23:11.00 2017-05-13    878DABEFDA779797FE26E46EB7EF610E
Pandemonium! 2 (USA).pbp                                                  246 448 707    20:22.00 2014-08-15    DD155055D9F54B0A8B4367EE82903F1A
Resident Evil - Directors Cut (USA).pbp                                   362 931 635    19:48.00 2014-07-12    43E144903716F04BF56C797C95B9ADCF
Rollcage - Stage II (Europe).pbp                                          547 398 252    13:38.00 2017-05-14    5C67B48365417E56C0646044A26087E4
V-Rally 2 (USA).pbp                                                       500 511 651    20:17.00 2014-08-15    019D89E3AB4C3E4737CAA07C1008ABAF
Wipeout 3 - Special Edition (Europe).pbp                                  606 919 907    12:54.00 2017-05-14    C5770D7DBAB5FF869BB75BFFC67DC23B