[SOFT] Universal XML Scraper V2

[screech]

long time without new release so :

2.2.0.2 is out : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/releases/tag/2.2.0.2

Corrected :

• Full Scrape don't neverend anymore.
• SSH kill works now on scrape demande.
• Date with only a 'Year' will work now (the date will be 'Year/01/01')
• When adding Missing Rom, Name were "(Clone, Beta, Demo, ...)". It's OK now
• When you force JPG or PNG, Video stay in MP4.

Modification :

• New ProgressBar changing color (Green = OK, Red = Timeout or error download, Yellow = Not found)

Added :

• New, in case UXS Hang (it never happen ^^), when you re-launch a Scrape, it will ask you if you want to generate a gamelist.xml with the temporary file found.
• New Shortcut was created at the first launch : 'Silent_UXS'. You can now run UXS silently
• New Visual info about Engine Use. Some check box corresponding to the Thread Number will tell you if the Engine is used or not.
• 2 New Advanced Menu : Reset Autoconfiguration Path and Alt Autoconfiguration Path (only for Retropie, it put the Rom's Folder Path)
• New Element Type : RomExcluded

Exemple :

	<Element Type="RomExcluded">
		<Source_Type>Variable_Value</Source_Type>
		<Source_Value>%AutoExclude%</Source_Value>
		<AutoExcludeEXT>bin|img|iso|ccd|sub</AutoExcludeEXT>
		<AutoExcludeValue>(Track |[Bios]|(Bios)</AutoExcludeValue>
	</Element>

Mean :
When a duplicate name file (without extension) is found:
- it check the extension. If in list (bin|img|iso|ccd|sub) it won't scrape it
- it check if the file contain a value ("(Track ","[Bios]","(Bios)"). If yes, it won't scrape it

[ProfMielPops]

@screech
Merci pour ta réponse. Je vais regarder tout ça maintenant

[Pepe]

@screech new versión is detected as trojan malware by windows defender on W10.
https://www.microsoft.com/security/portal/threat/encyclopedia/entry.aspx?name=Trojan%3AWin32%2FSpursint.F!cl&threatid=2147717281&enterprise=0

[screech]

Like I say on Retropie forum :

sorry for that
The language I use (Autoit) is well know by antivirus because in the past a lots of people create malicious software with it...
So every AV block every Autoit software...
I contacted some of the main AV compagny to tell them it's a false positive.
Some respond and it's ok now with some of them...
Some never answer... And False positive is still here

so you need to "accept" UXS in your AV. sorry...
(In case of doubt if there is malicious code, all sources are on the github ^^)

By security, I make some test :
https://www.virustotal.com/en/file/9a15495065c2b979b04fc92d5a2051c8cbc13e942dc1e1a8b25f2004b0452183/analysis/1495453332/
The 4 first result are "generic" Malware code... (something like : "the file want to execute an other exe, or the file acces internet, or the file open XML".... And it's true but it's not a malware ^^ it's the main function of UXS

https://virusscan.jotti.org/fr-FR/filescanjob/g4czisptuw
ClamAV detect one, but it's a well known false positive...

Tested on Kapersky too :
Résultat de l’analyse : le fichier est sain
Taille du fichier : 6,45 Мо
Type du fichier : PE64/EXE
Date d’analyse : 22 mai 2017 13:54:51
Date d’édition des bases : 22 mai 2017 11:34:53 UTC
MD5 : 2409df4503fdcc49cffcc7360870090b
SHA1 : e3a52966542fd0f8e6123c5baeda2a38440ce246
SHA256 : 9a15495065c2b979b04fc92d5a2051c8cbc13e942dc1e1a8b25f2004b0452183

And on Metadefender :
https://www.metadefender.com/#!/results/file/ZTE3MDUyMkJ5Wnh1dUdJeC1XU2tHZXVfR0xnV2I/regular/analysis

No threat found...

[Jinkz]

Bonjour. Moi j'ai un soucis avec xml scraper. Je met mon disque dur externe sur l'ordi je choisi bien le dossier roms, sa marche nickel je doit faire émulateurs par émulateurs. Mon seul soucis Et libretro ... quand le scrape est terminé et que je rebranche et relance recalbox, les 3/4 des jeux libretro on été triplé voir quadruplé ... et il y a 4142 jeux maintenant ... comment faire pour tous les supprimer en un seul coup ? Car quand je le branche sur l'ordinateur les jeux en double ou triple on a du mal à les distinguer car c'est un nom avec une abréviation en plus Et donc on ne peut distinguer un jeu en double triple d'un jeu original ...

[screech]

Alors :
Le plus simple est déjà de faire le tri dans tes Roms (crlmamepro ^^ je te laisse voir avec @acris
En suite, dans les options, tu peux choisir ce que tu mets en "Tags" derrière le nom : la region, clone, prototype, demo, traduction, ....

Un truc aussi, décoche (si c'est coché) dans la config général la recherche DANS les fichiers zip.

[Jinkz]

@screech sa marche. Donc la en faite je doit supprimer toutes les roms dans le dossier libretro, re glisser les roms de mon ordi dans le disque dur de recalbox, changer les manipulations à faire et sa devrait marcher ?

J'avais essayer le nouveau xml, mais peut de temps apres erreur à cesser de fonctionner donc j'ai repris le 32 bit d'avant.

[acris]

@Jinkz
le triage de l'arcade n'est pas comme les romsets de console ça demande un minimum de connaissance (rom parent, rom clone) et surtout la lecture de la documentation arcade sur le wiki.
Et le meilleur outil pour réaliser un premier triage pour obtenir uniquement les roms parentes d'un romset arcade est clrmamepro
puis ensuite séparer les roms parentes neogeo (pour fba libretro)
Le tutoriel qui je pense complet : http://mamedl.esy.es/static1/clrmamepro

[Jinkz]

Merci acris. Apres si je comprend bien tu me dit de faire ce logiciel pour séparer les jeux neogeo des arcades ? Mais Ca c'est deja fait. Dans recalbox j'ai bien l'emulateur neogeo avec ses jeux à l'intérieur. Mais je pense que le logiciel va m'aider à enlever les clones celui que tu m'a donné. Je vais essayer Ca ce soir je verrais bien.

[Jinkz]

Bon je comprend toujours pas clrmamepro j'ai essayé de supprimer tous les roms fba libretro, j'ai remis les roms puis scraper mais sa fais pareil ...
C'est quoi la différence entre fba libretro Et mame ? Il peut avoir tous les jeux sur mame Et enlever l'emulateur libretro ?

[screech]

@Acris est vraiment plus "calée" que moi sur le sujet mais,

FBA et MAME sont 2 émulateurs différents. Leurs romset sont eux aussi differents (même si des roms de l'un peuvent fonctionner sur l'autre et inversement).

Acris t'as donnée les liens sur les tutos, je te conseil de bien les consulter. et de faire des essais.

Le plus simple serait surement d'ouvrir un autre sujet (ce n'est pas particulièrement lié au Scrape la, c'est plus de la gestion de romset) d'autres (qui ne consultent pas forcement ce sujet) pourront certainement plus t'aider que moi

[anthonyv42]

Bonsoir
J'ai un soucis avec XML scrapper, je n'arrive pas a le faire fonctionner. Quand je lance un scrap sur mon SD, toutes les roms sont bien trouvées, j'ai ensuite l'apparition du dossier image et la modification du fichier gamelist cependant, rien ne change sur ma recalbox et quand je redémarre cette derniere, je me retrouve a nouveau avec un fichier gamelist vierge.
Le scrap a marché une seule fois, lors de sa première utilisation pour faire un test sur mes roms NES, tout a très bien fonctionné et depuis, je n'ai malheureusement pas pu le faire remarcher à nouveau.
Si quelqu'un a déja eu ce problème auparavant j et trouver la solution e suis preneur
Merci !!

[percevaal]

Bonjour,
avant toutes choses : je suis un débutant.
j'ai téléchargé xml scraper, suivit tout le tuto (obligé de passer par puty pour arreter la recalbox). Et qua je lance le scrap, ca marche un moment (très variable entre 30 et 200 jeux) et ca finit par planter avec ce message: "error: subscript used on non-accessible variable."
si je relance xml scraper il me dit que des fichiers temporaires on étés trouvés et me demande si je veux les sauvegardé.
Je ne sais plus quoi faire, si quelqu'un avait une idée.
merci d'avance

[GRALLEC]

@anthonyv42
quand tu as scraper il faut éteindre recalbox via le menu en choisissant "éteindre ou redémarrer" sinon pas de sauvegarde.
Halte au débranchement sauvage....

[percevaal]

A force de chercher je me pose 2 questions:

• est il normal que je sois obliger d'utiliser puty pour contrôler ma recalbox (en fait que SSH ne marche pas sur xml scraper)?
• il est indiqué dans le tuto de bien avoir des fichier en .zip (je suppose que.7Z marche aussi), mais quand je dl des fullset je suis obliger de les deziper (d'abord une première fois pour séparer le gros fichier puis une seconde pour séparer les titres identique). donc je met les roms en .SMC par exemple dans a recalbox. Il faut que je les rezip après pour que xml scrap marche bien?
  en tout cas ce logiciel est super (même si je suis pas très doué avec) et félicitation a celui ou ceux qui s'en occupe.

[screech]

@anthonyv42 Il faut absolument que Emulationstation soit quitté AVANT de scrape.
Normalement, Il te le propose avant un scrape, tu peux passer par le menu SSH, ou mieux encore, le faire toi même avec PUTTY en faisant un "killall emulationstation". Sinon au redémarrage, ES remettra les fichiers gamelist.xml qu'il avait au démarrage

@percevaal effectivement, j'ai un bug aléatoire qu'il faut que je piste :S je vais chercher ça.
Et normalement UXS est censé faire le killall sans passer par putty, mais je ne sais pour quelle raison, il est parfois capricieux et ne veux pas marcher
Par contre, il ne faut pas zipper/dezipper. En premier lieu, si tu as des fichiers 7z, c'est que la "source" de tes roms est pas "terrible'. Les romset "connus" sont en zip
Tu peux par contre conserver tes roms dézippé ça fonctionne très bien aussi (c'est même obligatoire pour certains émulateur comme la N64) c'est juste que ça prend plus de place.
Par contre rezipper le fichier va te creer un nouveau "Hash" et du coup la rom risque de ne pas être retrouvée dans la BDD.

[percevaal]

@screech merci pour ces réponses.

alors voila ou j'en suis:
j'ai utiliser un full set snes no-intro en .zip
quand je lance UXS, il plante toujours aléatoirement (peut monter jusqu'à 200 environ).
mon raisonnement (surement un poil naïf) a été le suivant:
laisser seulement 100 jeux dans le dossier rom de la recalbox, lancer UXS et la le résultat est bon. j'enlève ces 100 roms (mises de coté dans la recalbox) lance 100 autres jeux et la encore tout bon. Je pensais pouvoir remettre mes 100 ères roms avec ceux la, mais ca marche pas (seul le dernier lot est scrapé, même si les images du 1er lot sont bien présentes dans le dossier "downloaded_images")
une idée ? voir carrément une solution?
encore merci de prendre le temps de me répondre, c'est vraiment sympa.

[ProfMielPops]

@percevaal

Ton fichier xml contient le chemin des 100 dernières images et plus des 100 premières.

[percevaal]

Voila trouvé une solution (laborieuse mais qui marche)
je scrap 100 jeux, je sauvegarde le fichier xml par sécurité, je rajoute 100 jeux et la je scrap mais en ayant bien précisé dans UXS que c'est une mise à jour et comme ca il saute ceux qui on déjà étés scrapé et ne s'occupe que des nouveaux. Si ca marche, je rajoute 100 et ainsi de suite. Si ca plante, je remet ma dernière sauvegarde du fichier xml et je recommence les 100 derniers.
bon ca corrige pas le bug (un problème de mon pc peut être?) mais ca me permet quand même d'avancer.
si ca peut servir à quelqu'un.

[Gruute]

Bonjour,

Nouveau possesseur d'une recalbox, j'avoue que je galère tout comme percevaal : UXS plante aléatoirement, quel que soit la console sur laquelle je le fais travailler. Du coup, je vais essayer son contournement par paquets de 100 roms.
Si quelqu'un a une idée, à votre bon coeur

Et merci d'avance !