[SOFT] Universal XML Scraper V2

[hurudy]

Salut les scrapeurs , je n'arrive pas a scraper les roms de neogeo ce jours , XML reste figé et ne répond plus . une astuce ?

[johnDoe_1]

@screech 4img n'est plus disponible ?

[kevinnash]

@Genetik57 said in [SOFT] Universal XML Scraper V2:

@screech 4img n'est plus disponible ?

A télécharger dans le soft avec la nouvelle fonction incuse

[johnDoe_1]

@kevinnash Pas compris désolé

[screech]

@Genetik57 dans la version 2.0.0.7 j'ai réduit le nombre de MIX "en standard" pour alléger l'EXE qui commence à devenir "gros". Mais j'ai rajouter un menu (dans configuration) pour pouvoir télécharger des MIX depuis Github Tu pourras y retrouver le 4img ainsi que d'autre...

(Et quand j'aurais mis à jour le WIKI et que vous voudrez faire vos propres MIX, ça me permetra de les mettre à dispos sans sortir de nouvelle version )

[johnDoe_1]

@screech Ah d'accord merci !

[johnDoe_1]

Bon bah ça ne scrape plus les roms en v2.0.7

[kevinnash]

Chez moi ça scrape bien en 2.0.0.7, du moins hier soir, j'ai tout rescrapé sans souci

[cotedeporc]

@screech ,

Je suis en train de créer un nouveau theme MIX inspiré du travail de kent79 et son GameStation pour AttractMode (http://forum.attractmode.org/index.php?topic=505.0).

Je rencontre quelques difficultés cependant.

Lorsque je récupère le bakcground d'un système, l'image me semble dégradé. Serait-ce dû à la compression PNG?

D'autre part, quelles sont les balises pour aligner une image en bas à droite?
J'ai fait plusieurs essais en vain.

Existe-til un wiki ou un XSD pour le XML des mix?

As-tu pu avancer sur la récupération des images des genres?

Merci d'avance!

[screech]

@cotedeporc cool ^^ un nouveau MIX ^^

Alors, faut vraiment que je mette à jour le WIKI pour la création des MIX :S

Alors :

Déjà, pense bien à regler la resolution de ton ecran :
ou dans les balises <General><Target_Width> et <General><Target_Height>
ou directement dans le Menu Configuration des images (ce dernier, s'il est modifié, prend le pas sur la conf par defaut du config.xml)

Pour la qualité des images, tu peux "'jouer" avec les paramètre de pngquant :
ou en le desactivant completement : <Compression><use>no</use>
ou en modifiant les parametre : <Compression><parameter>--force --verbose --ordered --speed=1 --quality=30-90 --ext .png</parameter>
(voir ici pour les parametres : https://github.com/pornel/pngquant )
Pour info, j'utilise pngquant, mais tu peux en utiliser d'autre à ta convenance.
Il suffit de mettre l'executable dans le repertoire "Ressources" d'UXS et de configurer la partie <Compression> du MIX Template
quelques autres compresseurs de png :
http://optipng.sourceforge.net/
https://imageoptim.com/api
https://github.com/google/zopfli

pour les balises "en bas à droite" :
<Target_TopLeftX>RIGHT</Target_TopLeftX>
<Target_TopLeftY>DOWN</Target_TopLeftY>

concernant les images des genres, j'attends la sortie de la V2 de Screenscraper ça arrive bientot

[summunx]

Hi @screech,

I am trying to use the oldtv template, as in previous versions it does not work UXS I copied it to a new version but it does not work.

is it possible that it is because the new templates are. XML and the Oldtv is .INI? As you could do to use it enormously grateful for your work, summunx

[screech]

Hi @summunx ,

You are right, I haven't convert "oldtv" template to the new XML format. I need to do that

(I open an issue on my github to keep that in mind )

[cotedeporc]

Hi @screech,

Je vais encore te demander un peu d'aide.
Je n'arrive toujours pas avec mon bas à droite. Il ne m'affiche pas l'image demandée alors qu'avec UP/LEFT, je l'ai.

Peux-tu me donner les balises pour avoir une zone de dessin (H,W) dont le point d'origine est défini en X,Y et pour laquelle l'image doit respecter son ratio tout en maximisant l'espace occupé et l'aligner en bas à droite?

En espérant que ce soit possible et surtout compréhensible...
Si ce n'est pas faisable, je m'arrangerais autrement, pas de soucis!

Merci beaucoup pour ton travail, c'est une porte ouverte sur énormément de possibilités!

[johnDoe_1]

@screech Problème OK

[screech]

@Genetik57 rien d'anormal... Tu es en mode mise à jour et tu scrape un repertoire déjà scrapé :S

@cotedeporc Rien compris de ce que tu veux ^^

mais voila un exemple "simple" :

<Element>
	<Name>fanartTEMP</Name>  <-- Nom
	<Source_Type>XML_Value</Source_Type>   '<-- Type (dans ce cas la une valeur qui proviens d une requête API qui a généré un XML)'
	<source_Origin>System</source_Origin>  '<-- Source (Le type de requête API utilisé. La c est un media du système, ça peut aussi etre 'Game' pour un media de jeu )'
	<Source_Value>medias/media_photos/media_photo_%COUNTRY%</Source_Value>  '<-- la valeur en question (La c est une photo du systeme du coup... Une image de la console quoi)'
	<Target_Width>%1</Target_Width> '<-- La taille en largeur en pourcentage de l image final (%1 donc la totalité de l image finale, %0.5 la moitier de la taille de l image finale,...)'
	<Target_Height>%1</Target_Height> '<-- La taille en hauteur en pourcentage de l image final (%1 donc la totalité de l image finale, %0.5 la moitier de la taille de l image finale,...)'
	<Target_TopLeftX>CENTER</Target_TopLeftX> '<-- sa position en X. Peut etre LEFT, RIGHT, CENTER, une valeur fixe, ou une valeur en pourcentage'
	<Target_TopLeftY>CENTER</Target_TopLeftY>  '<-- sa position en Y. Peut etre UP, DOWN, CENTER, une valeur fixe, ou une valeur en pourcentage'
	<Target_Maximize>Yes</Target_Maximize> '<-- Si c est à Yes, ça maximise l image tout en conservant le ratio'
</Element>

Voila ^^ tu as les éléments de base

Hésite pas à poser des questions (et je tente se WE de mettre le Wiki à jour )

[johnDoe_1]

@screech Justement j'ai envie de mettre à jour mes roms et ça veut pas

EDIT : Excuse moi, tu as dû changer quelque chose car avant j'activer cette fonction, je viens de choisir "uniquement image" et c'est nickel, encore merci et désolé

En gros ça supprime et remplace l'image quoi ?

[cotedeporc]

@screech,

Merci pour tes réponses
En relisant, en effet, ma demande n'était pas compréhensible....

Selon mes essais, j'en était arrivé à ces conclusions:
<Target_Width> : Largeur de la zone où se trouvera l'image (en % ou pixels)
<Target_Height> : Hauteur de la zone
<Target_OriginX> : Position en largeur de la zone image
<Target_OriginY> : Position en hauteur de la zone image
<Target_TopLeftX> : Alignement en largeur de l'image dans la zone
<Target_TopLeftY> : Alignement en hauteur de l'image dans la zone

Il y a du vrai mais apparement aussi beaucoup de faux.

Du coup <Target_OriginX> et <Target_TopLeftX> se téléscopent, non?

[johnDoe_1]

@screech Je sais pas si c'est un bug mais quand je scrape avec ajout d'image, exemple un dossier avec +4000 roms, je me retrouve avec presque 6000 images soit presque 2000 images de trop (quasiment que des doublons)

Il serait pas possible d'ajouter un petit script qui compare l'ancienne image par rapport à la nouvelle image ? Compare la taille + le poids de l'ancienne image par rapport à la nouvelle, si c'est similaire, il garde, si c'est différent, il remplace par la nouvelle et supprime l'ancienne

Par contre je pense qu'il serait préférable de choisir si on veut remplacer par rapport à la taille ou non car suivant les choix de chacun, ça risque de ne pas le faire. Mais remplacer par rapport au poids ça me semble possible non ? Car on en avait déjà discuté si c'était possible de remplacer une image en vérifiant s'il manquer ou non des éléments à celle-ci mais tu m'as dis que ce n'était pas possible mais en vérifiant le poids, je pense que c'est possible ?

Qu'en dis tu ?

[screech]

@cotedeporc
<Target_OriginX> change le point d'origine pour le calcul de position (normalement 0x0 c'est en haut à gauche)
et <Target_TopLeftX> est la position par rapport au point d'origine.

Le point d'origine n'est pas obligatoire (s'il n'y en a pas c'est 0x0) Mais du coup ça peut être pratique pour des balises genre CENTER, LEFT, RIGHT, UP, DOWN si tu veux faire un décalage

@Genetik57 as tu verifier les formats ? Il est possible que tu ai une version en JPG (exemple juste le Screenshot) et une version en PNG (un MIX)

Pour la mise à jour, qu'elle est l’intérêt de télécharger les images, créer le mix et comparer la taille ? vu que tout est déjà fait, autant remplacer l'image... Au pire ce sera la même... ça tombe bien c'est justement le but du mode MaJ Image

[johnDoe_1]

@screech Même format (png) et même taille (celle par défaut), je vois pas