[SOFT] Universal XML Scraper V2

[jackalpret]

@screech said in [SOFT] Universal XML Scraper V2:

Hi @jackalpret
Can you check your firewall or antivirus ?
It's not normal

maybe is memory problem.
I was running in ubuntu with virtualbox (win7) , and If I tried with only 6 files/roms in mame it works, but when I have 2000 roms it doesnt work

[johnDoe_1]

@screech Salut, est-ce que le problème de scrape mix est fixé depuis ?

Mon ancien message :

"Je ne sais pas si c'est un bug mais par moment, le logiciel me sort une image de la jaquette alors que je suis en 4img, ensuite il reprend les 4img normalement et des fois il recommence, une jaquette et op, du 4img

Et quand je recommence, il me remplace la jaquette par une 4img et peut faire l'inverse avec une 4img en jaquette"

[screech]

Ce n'est pas logique (et à priori anormal) il faut que je check
Mais normalement, s'il n'arrive pas à générer le MIX, il prend l'image alternative (ex = jaquette 2D)

mais si une jaquette 2D existe, alors la 3D aussi et donc aucune raison qu'il n'arrive pas à générer le MIX.

Après il peut s'agir d'autre chose (problème d'espace disque, micro déconnexion, ...)

Je vais faire des essais... (dès que je trouverais un peu de temps )

[Ben2907]

Bonjour,
J'ai un problème, j'ai utilisé pour la première fois aujourd'hui ce soft. Lors du scrapping tout a bien fonctionné, les images des jeux se sont bien téléchargés dans les dossiers roms de ma recalbox, cependant, les images et les descriptifs des jeux ne s'affichent pas après avoir rebooté
J'avais déjà scrappé quelques jeux sans utiliser XML Scraper et tout s'affichait correctement (en anglais) mais depuis que j'ai fait la manip, il n'y a plus rien
Merci d'avance pour votre aide

[screech]

@Ben2907
ça ressemble à un problème de Kill Emulationstation.

Avant de scraper, il faut absolument que Emulationstation soit arrêté.
Normalement UXS le propose avant de scraper (mais, je ne sais pas pourquoi) cela ne fonctionne pas toujours....

Pour vérifier qu'ES est bien arrêté, c'est simple : l’écran de la RB doit être "noir" (tu ne dois plus pouvoir naviguer dans les menu)
Si ce n'est pas le cas, au prochain reboot, tu récupères l'ancien gamelist.xml qu'ES aura stocké en mémoire...

pour l’arrêter : Tu peux le faire avec UXS (menu SSH, ou la question juste avant un scrape) ou manuellement en te connectant en SSH (check le wiki, il y a une fiche la dessus)

n’hésite pas à me tenir au courant.

[azvarel]

@screech is there possibility to put the flyer of the arcade games in the mix 3 img, in that style?

[screech]

Yes, it's possible

But you need to create a MIX
(with the system and game logo with rotation, a "deformed" flyer, and a Fix mask...)

I think the only problem right now is the flyer deformation.
Actually, Mix deformation can only handle "parallel" deformation (3 Points) I need to look for a "better" deformation routine to handle 4 points

[Ben2907]

@screech
Merci pour la réponse rapide
Ça y est ça marche, l’arrêt d'ES avec la question juste avant le scrape ne fonctionne pas chez moi, j'ai du le faire avec le menu SSH
Je sais pas si cela a fait quelque chose mais j'ai aussi ouvert UXS en administrateur

Merci encore
Bonne journée

[Mydriaze]

Bonjour bonjour,

Nouveau sur le forum, je viens pour avoir quelques renseignements concernant ce super outil qu'est le Universal XML Scraper.
Mon Pi est en réseau, allumé. Je lancé l'outil Universal XML Scraper, tout se passe bien. Sauf que je n'ai aucune jaquette de télécharger, en tout cas je n'en vois aucune apparaître quand je sélectionne un jeu dans ma Recalbox. Une idée d'ou peut venir le problème?

EDIT: je vois bien les fichiers qui ont été téléchargés à la racine de l'émulateur, donc tout va bien. Mais pourquoi alors je ne les vois pas apparaître sous ma recalbox? C'est un problème de thème non compatible? (j'ai le thème par défaut)

[acris]

@screech
j'ai téléchargé la dernière version du soft pour scrapper 3345 roms advmame, j'ai configuré avec mon compte.
je comprend pas pourquoi au bout de 45min il vérifie le hash et quil a fait que 350 roms alors qu'avec des anciennes versions du logiciel en 45 min il avait déjà plus de la moitié.
J'ai choisi mix 3img
temps estimé : 4h00 pour ce scrap.
J'ai testé en semaine le matin de bonne à 5h00 et pareil !

[azvarel]

@acris There must have been a problem on the server, it was redoing the SNES and it was super fast already the NES soon after, it was forgotten in time and it is already more than 4 hours and still not finished

[Mydriaze]

C'est possible que ca vienne du serveur car j'ai eu un mal fou a recevoir mon mail après inscription, et pareil pour être loggé dans UXS, j'ai mis une bonne heure avant de pouvoir y accéder.

Une question s'il vous plait: comment "voir" le mode "mix d'image" dans Recalbox? C'est spécifique a un thème en particulier?

[acris]

Wouaaaaaaaaa je suis verte , apres avoir perdu toute l apres midi sur le hash , plantage de USX sur un problème de variable non déclaré. Bref une demi journée de perdu.

[azvarel]

@acris The same thing happened to me now!

[azvarel]

@screech
It's impossible to do scrap mix 3 img I lost the day and has not yet made 1651 roms of NES and is in 1/3 of what is missing and still says that it finishes in 6 hours

[acris]

@screech
je ne comprends pas, j'ai enfin réussi à scapper mes roms advmame (parent only avec neogeo) en choissant mame, cependant les roms neogeo ont pas été scrappé (logique)
je recommence en choisissant ajouter les roms manquantes dans la config général puis je choisis neogeo et là
il trouve rien enfin si les images c'est bon mais au niveau des noms rien, et il a supprimé ce qui était déjà existant.
Logiquement il aurait dû laisser le gamelist.xml et ajouté uniquement ce que je lui demandai

<game id="" source="ScreenScraper">
	<path>./005.zip</path>
	<name> (CLONE, BETA, DEMO, PROTO, TRAD, HACK, UNL)</name>
	<desc/>
	<image>./downloaded_images/005-image.png</image>
	<image/>
	<rating>0</rating>
	<releasedate>00000000T000000</releasedate>
	<developer/>
	<publisher/>
	<genre/>
	<players/>
	<region/>
	<hidden/>
</game>

[Pepe]

@screech, @cotedeporc From what I have been able to verify, modifying the parameters of pngquant in config.xml of the Foolscreen mix does not work. It seems as if the foolscreen mix does not get to use pngquant or even it may not be using by UXS. I have modified the settings in the config.xml of each foolscreen mix, I have scraped and just like before the change, there has been no compression in the png. I have passed pngquant by the result with the same parameters that I put in the config xml and compresses the images leaving them to 20%-25% of its weight. It seems that Foolscreen or UXS are not doing all their work well.

@cotedeporc On the other hand, in the animated gifs you show, there are mix images that do not exist in UXS: Vectrex, PSP, NGPC etc ...

[screech]

@acris
De ce que je vois tu as du cocher "ajout des roms manquantes"
ça te créer ce genre "d'entrée" vide dans le fichier XML
Du coup quand tu passe en "Mise à jour" il ne rescrape pas ces roms (qui existe déjà dans ton fichier XML mais vide)
Reessaye sans cocher cette option dans ton scrape de départ. (En toute logique, les rom NeoGeo sont des enfants des roms Mame... donc il devrait les trouver aussi :S)

Tiens moi au courant.

@Pepe
Where did you make your modification ?
You need to do it in the ZIP file.
(For exemple, open one MIX profil with winzip, open the config file, do your modification, save, and update the zip file)
If you do this directly in the MIX folder (not in the zip) every time you open UXS, it will update the Folder by unziping the ZIP file. So you loose you modification.

I did some try, and pngquant work well... so it must work this way

[Pepe]

@screech The config.xml files that I have modified, have been in the compressed file of the mix, I have decompressed them, modified the config.xml and compressed it again but foolscreen does not compress the png. I say that I do not know if it is a foolscreen or UXS issue for that reason I mentioned @cotedeporc and you.

[screech]

If it doesn't work, I think it's a UXS problem :S

Can you copy past your modification ?

normally, the standard thing is :
<Compression>
<use>yes</use>
<soft>pngquant.exe</soft>
<parameter>--force --verbose --ordered --speed=1 --quality=30-90 --ext .png</parameter>
</Compression>

So, UXS transform that in :
xxxPathtoUXSxxx\Ressources\pngquant.exe --force --verbose --ordered --speed=1 --quality=30-90 --ext .png xxxfiletocompressxxx

If you take a look at the logx.txt in the log folder, you must see a line like :
[12:05:44] - > PNGQuant command: "C:\Developpement\Github\BIN\Ressources\pngquant.exe" --force --verbose --ordered --speed=1 --quality=30-90 --ext .png "C:\Developpement\Github\BIN\TEMP\MIX3\MIX\screenTEMP.png"
[12:05:45] - PNG Optimization (PNGQuant): C:\Developpement\Github\BIN\TEMP\MIX3\MIX\screenTEMP.png(416 KB -> 110 KB)

(I just did it to have an exemple ^^)