[SOFT] Universal XML Scraper V2

[screech]

Sorry @Pepe It's only one post traitment...

But you can choose... pngquant OR optipng OR what you want

But I think you can do pretty the same thing with optipng and pngquant... Only Algorythm are different. (I choose pngquant because it is a little faster than optipng)... But it's not my speciality ^^

If you found a nice "configuration" for one or the other, let me know. Maybe I can change the standard.

[Pepe]

@screech Thanks.
It's better pngquant, especially in terms of speed and color reduction, but a combination of two would be perfect for what I'm looking for.
Pngquant does not eliminate / compresses metada what can be between 1% -5% of final weight reduction that added to the reduction of size obtained with pngquant already leaves an interesting file. The possibility of performing a second compression with optipng at the scraping time from uxs and not having to do it manually later, at least for me, would be helpful, it would be less painful to have all systems scraped with 1920x1080 images and an acceptable file size . Your comment made me see the light, but I see that I have misunderstood it, a pity, I will continue doing it manually.

[screech]

I'm just thinking :

Maybe you can make a BATCH file

something like :
pngquant --options %1
optipng --options %1

And put your batch as the post traitment

never tested that but it may work

[Pepe]

@screech It's a good idea, I'll try it. Thanks again.

[Pepe]

@screech What a shame, the idea has not worked, I even converted the bat I created in exe in case uxs did not accept the .bat but it did not work.

[screech]

Can you copy past your bat ? So I can make some test (and correct UXS if needed )

[Pepe]

@screech The problem is not the bat itself, by itself it works as much as .bat and as .exe, works from the 2 ways, but when I put it in the config.xml and scrap it does not work. I have tried putting the bat or exe in $path, in ressources folder of uxs and also in the folder of the mix in the folder of the images, also i tried with absolute and relative paths but it have not worked in any of the tests whenever it is called from uxs, if I execute it Separately if it compresses the images well. The bat only contains what you gave me.

conversor.bat:

pngquant.exe 256 --force --verbose --ordered --speed=1 --ext .png %1
optipng -o7 -strip all %1

config.xml from fool mix:

<Compression>
		<use>yes</use>
		<soft>conversor.bat</soft>
		<parameter></parameter>
	</Compression>

[screech]

normally the bat must be in the "ressources" folder (with pngquant.exe and optipng.exe)

Maybe try to put the absolute path of pngquant and optipng "in" the Batch.

the other thing seems good to me. (Maybe its the empty parameter UXS don't like, not sure...)

You can try this for the bat:
x:\xxx\ressources\pngquant.exe 256 --force --verbose --ordered --speed=1 --ext .png %2
x:\xxx\ressources\optipng -o7 -strip all %2

and in the config.xml
<Compression>
<use>yes</use>
<soft>conversor.bat</soft>
<parameter>dummy</parameter>
</Compression>

I can't test right now (I'm at work ) I will give it a try tonight

[Pepe]

@screech
I have tried the absolute routes already as I commented and also the location of the bat or the exe that I created from the bat on different routes, the first was the logic, everything in the original location, the bat next to pngquant and optipng In resources. None of these situations is the cause, now I think from the first moment that the problem would be the config.xml and the parameter line, I tried with it as I put it before and completely eliminated it and it did not work for any The 2 ways, I will try with dummy as you tell me that I could go there the thing.

Mmm i see %2 in your code, why second parameter?

Thanks again

[screech]

UXS launch an execution like "<soft>" "<parameter>" "ImageFilePath"

So if you put "Dummy" as parameter, with you batch it will be :

conversor.bat Dummy "ImageFilePath"
(Dummy became %1 and "ImageFilePath" became %2 )
So you don't need %1 (Dummy) only %2

Thank you for doing the Test ^^ I'm really stuck right now till tonight...

[Pepe]

@screech My joy in a well, unfortunately I have not been able to make it work this way either :'-(

[paradadf]

@Pepe @screech
Assuming pngquant.exe is inside the folder resources (can't look for it right now), the batch afaik should start with:
"%~dp0pngquant.exe"

%~dp0 translates to the full path of the folder in which the batch script resides.

[altair72]

Je suis actuellement en train de tester Universal XML Scrapper et j'ai besoin de comprendre à partir de quoi le scrapper cherche les jeux.
J'ai cru comprendre qu'il se basait sur le nom du fichier qui devait être connu de la base de screenscraper.
Toutefois je me suis amusé à nommer 2 roms : 688 Attack Sub (E) et 688 Attack Sub (U) (non déclarés dans la base de screenscraper) et cela marche quand même ... sauf qu'il m'attribut systématiquement la cover US.

Donc XML Scrapper est bien capable de matcher le nom du fichier avec sa base de jeux mais ne cherche pas à détecter la région du jeu dans le nom du fichier?

[screech]

@Pepe Sorry I have'nt the time to test this WE :S I'll do it as soon as I can.

@altair72
Si tu va dans la configuration générale, tu apercevras une option "mode de recherche".
Tu peux donc choisir : CRC+filename ou filename tout court.
en CRC + Filename, UXS va calculer le Hash de ton fichier pour le faire correspondre avec une rom connue de la BDD. s'il ne trouve pas il cherchera par le nom du fichier.

Par conséquent. Si c'est ta rom (U) que tu as renommé en (E), il est tout à fait normal qu'il trouve 2 fois le jeux US (Renommer un fichier ne change pas son CRC).
ça permet justement aux personnes qui ont "mal" renommer leurs fichiers d'avoir les info correspondant réellement à leurs roms.

Si tu veux qu'UXS se base uniquement sur le nom de fichier. tu as simplement à choisir Filename dans le mode de recherche.

Attention cependant, il y a un fallback sur les infos recherchées.
Si par exemple (je n'ai pas vérifié) le jeu 688 Attack Sub ne possède qu'une cover US dans la BDD. et que tu scrapes le jeu EU. Il va d'abord chercher la EU, mais s'il ne la trouve pas (inexistante par exemple) il va ensuite récupérer la US pour ne pas laisser "à vide".

Toujours dans la config Générale, tu as le fallback d'indiqué, tu en as même 2 :
1 au niveau de la région (pour les médias, le nom du jeu, les dates de sortie,...) et un pour la langue (pour le synopsys, le genres, ...)

Pour la langue en FR, de base c'est : fr|en|wor (en gros FRançais, ENglish, WORld)
Pour la région c'est : %COUNTRY%|fr|eu|wor|ss|us|jp|cus (%Région de la Rom%, FRançais, EUrope, WORld, ScreenScraper, USa, JaPon, CUStom)

@paradadf Thank you for the info never heard about %~dp0, it's great

[altair72]

@screech Merci pour toutes tes précisions ça fait vraiment plaisir je pense que tu es passionné par ton soft
En fait ce que je veux faire c'est vu que la ROM dans les fullset est multirégion (us, europe) je veux la dupliquer, une pour une entrée us avec la cover us (donc avec uniquement (us) dans le nom) et une autre pour une entrée europe (donc avec uniquement (europe) dans le nom) avec la cover europe.

Je n'avais pas vu cette option désolé mais du coup je vais l'essayer

[ProfMielPops]

@screech

Bonjour,

Tout d’abord un grand merci pour tes softs. Ils sont très pratiques

J’ai 3 remarques concernant UXS

• Le scrapping des consoles cd (Playstation, Pc-Engine CD) me pose problème. Le logiciel me scrappe tous les .bin et .cue. C’est donc long et cela prend beaucoup de place. Comment ne pas scrapper les .bin ?
• Le scrappe des fichiers sous répertoire. Prenons l’exemple de l’émulateur Cave mais c’est aussi le cas sur le Méga CD. J’ai téléchargé le jeu et j’ai copié l’ensemble des fichiers dans un sous répertoire. Quand je me retrouve sur EmulationStation je rentre dans mon sous répertoire. L’image et le descriptif du jeu ne vont apparaitre que si j’utilise ma croix directionnelle vers le bas ou vers le haut.
• La mention « version alternative » d’un jeu n’apparaît pas contrairement à la mention « région » ou « proto » … alors même que je l’ai sélectionné dans les options de ton logiciel.

[altair72]

@screech J'ai testé mais j'ai toujours un problème.

En scrappant :

• 688 Attack Sub (Europe)
• 688 Attack Sub (USA)

=> Il me télécharge pour chaque la cover Europe ...

Je pense pas qu'en scarppant par rapport au nom il prennent en compte la région stipulé entre paranthèse.
Du coup ça va être compliquer de scarpper mes jeux que j'ai scindé pour beaucoup en chaque version (une rom europe, une rom us, une rom jap etc ...)

Je suis un peu bloqué et ça me frustre d'autant plus que le site et le scrapper sont géniales !

[screech]

@ProfMielPops
Plusieurs solutions pour les "gros fichiers":

• Normalement, si tu as BIN+CUE avec le meme nom, il n'est pas sensé scraper les BIN (mais que les CUE) (faudrait verifier dans les logs...)
• Pour les problemes de vitesse : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/ISO-Scrape-Freeze-or-are-very-long
• Dernieres astuces : dans config général, tu as les extensions scrapées qui sont listés. tu peux retirer le *.bin (attention, faudra penser à le remettre sur les emulateurs qui en ont besoin)

Pour les "sous répertoire", à priori ce bug vient d'EmulationStation. Je ne peux pas y faire grand chose... Mais je réfléchie à une autre "solution" de scrape (sinon pour les Mega CD, tu peux tout mettre à la racine ^^)

Pour le (alt) tout dépend de la BDD. Tu as vérifié sur Screenscraper que la rom était bien une rom ALT ? si oui, il faudra que je check ça

@altair72
Je viens de comprendre ton problème... En fait cette "rom" est "multilangue". En gros elle est eu ET us... Du coup, UXS ne sait pas gérer les multi et prend le premier des 2... ton cas est vraiment "particulier"...
J'ai tout de même une solution (mais très contraignante) si tu as tous tes Jeux US par exemple dans un rep séparé, force les médias en US
-> dans config Générale, au niveau de la région, à la place de : "%COUNTRY%|fr|eu|wor|ss|us|jp|cus" tu mets juste "us" du coup ça forcera les média US (et "eu" pour pour les médias EU, etc...)
C'est pas le plus convivial, mais ça devrait marcher

[altair72]

Malgré que ce soit contraignant ça me convient parfaitement ! Un grand merci au passionné que tu es!!!

[screech]

long time without new release so :

2.2.0.2 is out : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/releases/tag/2.2.0.2

Corrected :

• Full Scrape don't neverend anymore.
• SSH kill works now on scrape demande.
• Date with only a 'Year' will work now (the date will be 'Year/01/01')
• When adding Missing Rom, Name were "(Clone, Beta, Demo, ...)". It's OK now
• When you force JPG or PNG, Video stay in MP4.

Modification :

• New ProgressBar changing color (Green = OK, Red = Timeout or error download, Yellow = Not found)

Added :

• New, in case UXS Hang (it never happen ^^), when you re-launch a Scrape, it will ask you if you want to generate a gamelist.xml with the temporary file found.
• New Shortcut was created at the first launch : 'Silent_UXS'. You can now run UXS silently
• New Visual info about Engine Use. Some check box corresponding to the Thread Number will tell you if the Engine is used or not.
• 2 New Advanced Menu : Reset Autoconfiguration Path and Alt Autoconfiguration Path (only for Retropie, it put the Rom's Folder Path)
• New Element Type : RomExcluded

Exemple :

	<Element Type="RomExcluded">
		<Source_Type>Variable_Value</Source_Type>
		<Source_Value>%AutoExclude%</Source_Value>
		<AutoExcludeEXT>bin|img|iso|ccd|sub</AutoExcludeEXT>
		<AutoExcludeValue>(Track |[Bios]|(Bios)</AutoExcludeValue>
	</Element>

Mean :
When a duplicate name file (without extension) is found:
- it check the extension. If in list (bin|img|iso|ccd|sub) it won't scrape it
- it check if the file contain a value ("(Track ","[Bios]","(Bios)"). If yes, it won't scrape it