[SOFT] Universal XML Scraper V2

[percevaal]

A force de chercher je me pose 2 questions:

• est il normal que je sois obliger d'utiliser puty pour contrôler ma recalbox (en fait que SSH ne marche pas sur xml scraper)?
• il est indiqué dans le tuto de bien avoir des fichier en .zip (je suppose que.7Z marche aussi), mais quand je dl des fullset je suis obliger de les deziper (d'abord une première fois pour séparer le gros fichier puis une seconde pour séparer les titres identique). donc je met les roms en .SMC par exemple dans a recalbox. Il faut que je les rezip après pour que xml scrap marche bien?
  en tout cas ce logiciel est super (même si je suis pas très doué avec) et félicitation a celui ou ceux qui s'en occupe.

[screech]

@anthonyv42 Il faut absolument que Emulationstation soit quitté AVANT de scrape.
Normalement, Il te le propose avant un scrape, tu peux passer par le menu SSH, ou mieux encore, le faire toi même avec PUTTY en faisant un "killall emulationstation". Sinon au redémarrage, ES remettra les fichiers gamelist.xml qu'il avait au démarrage

@percevaal effectivement, j'ai un bug aléatoire qu'il faut que je piste :S je vais chercher ça.
Et normalement UXS est censé faire le killall sans passer par putty, mais je ne sais pour quelle raison, il est parfois capricieux et ne veux pas marcher
Par contre, il ne faut pas zipper/dezipper. En premier lieu, si tu as des fichiers 7z, c'est que la "source" de tes roms est pas "terrible'. Les romset "connus" sont en zip
Tu peux par contre conserver tes roms dézippé ça fonctionne très bien aussi (c'est même obligatoire pour certains émulateur comme la N64) c'est juste que ça prend plus de place.
Par contre rezipper le fichier va te creer un nouveau "Hash" et du coup la rom risque de ne pas être retrouvée dans la BDD.

[percevaal]

@screech merci pour ces réponses.

alors voila ou j'en suis:
j'ai utiliser un full set snes no-intro en .zip
quand je lance UXS, il plante toujours aléatoirement (peut monter jusqu'à 200 environ).
mon raisonnement (surement un poil naïf) a été le suivant:
laisser seulement 100 jeux dans le dossier rom de la recalbox, lancer UXS et la le résultat est bon. j'enlève ces 100 roms (mises de coté dans la recalbox) lance 100 autres jeux et la encore tout bon. Je pensais pouvoir remettre mes 100 ères roms avec ceux la, mais ca marche pas (seul le dernier lot est scrapé, même si les images du 1er lot sont bien présentes dans le dossier "downloaded_images")
une idée ? voir carrément une solution?
encore merci de prendre le temps de me répondre, c'est vraiment sympa.

[ProfMielPops]

@percevaal

Ton fichier xml contient le chemin des 100 dernières images et plus des 100 premières.

[percevaal]

Voila trouvé une solution (laborieuse mais qui marche)
je scrap 100 jeux, je sauvegarde le fichier xml par sécurité, je rajoute 100 jeux et la je scrap mais en ayant bien précisé dans UXS que c'est une mise à jour et comme ca il saute ceux qui on déjà étés scrapé et ne s'occupe que des nouveaux. Si ca marche, je rajoute 100 et ainsi de suite. Si ca plante, je remet ma dernière sauvegarde du fichier xml et je recommence les 100 derniers.
bon ca corrige pas le bug (un problème de mon pc peut être?) mais ca me permet quand même d'avancer.
si ca peut servir à quelqu'un.

[Gruute]

Bonjour,

Nouveau possesseur d'une recalbox, j'avoue que je galère tout comme percevaal : UXS plante aléatoirement, quel que soit la console sur laquelle je le fais travailler. Du coup, je vais essayer son contournement par paquets de 100 roms.
Si quelqu'un a une idée, à votre bon coeur

Et merci d'avance !

[arubinu]

Bonjour tout le monde,

La dernière version plante aussi aléatoirement chez moi, j'utilise l'avant dernière et ça passe.

Par contre, maintenant qu'il y a la Dreamcast sur RecalBox, et que ça fonctionne mieux avec des roms au format GDI (donc comprenant des fichiers "track"), je suis obligé de faire des dossiers et le scrap est un peu bizarre (même si c'est logique).

En gros, le fichier GDI est mal scrapé mais les "track" sont correct, sauf que c'est le GDI qui pemet de lancer le jeu.
Du coup je n'ai pas encore cherché à trafiquer le fichier "gamelist.xml", j'ai uniquement caché les "track" de la liste (il faut toujours rentrer dans le dossier).

Comme je n'en ai pas beaucoup, je peux le faire à la main, mais est-ce que quelqu'un aurait une vrai solution, ou un moyen d'éviter la vue en dossier?

[screech]

Désolé, il y avait un gros bug sur le 2.2.0.2...
Je viens de corriger :

2.2.0.3
Corrected :

• Random Error making UXS crash. (Changing a part of MAIN <-> ENGINE communication system)
• Changing color progressbar is now only green (Maybe a raison of random crash)
• SSH finally will work (sorry for that)
• Apostrophes in filename now works... (Thanks Marblemad)

Added :

• ProgressBar when creating the XML File

[arubinu]

@screech Bonjour,

Je viens d'y repenser, donc je te pose la question.

En faisant mon scrape, il m'est arrivé que ma connexion saute, et le sauf continuait à défiler les roms (le temps d'attente n'est pas mis à jour pendant ce temps), et du coup une partie n'est pas prise en compte.

Serait-il possible d'ajouter dans une future version, une détection du statut de la connexion afin de mettre en pause le temps que la connexion revienne ?

[screech]

@arubinu Ce sera surement possible avec la V2 de l'API de screenscraper qui me permettra de tester les codes erreurs de retour

[johnDoe_1]

Salut @screech, toujours pas de fix pour ce foutu bug lors du scrape ?

Quand je scrape juste les images, il me remplace mes 4img en une photo de jaquette, j'ai essayé en 3img pareil et le reste ça doit être la même chose.

Du coup j'ai tout supprimé, je scrape en nouveau fichier xml, ça scrape en 4img mais j'ai genre 1/4 voir 2/4 des images est remplacé par une image Windows (La visionneuse de photos Windows ne peut ouvrir cette image car le fichier semble endommagé ou corrompu, ou il est trop grand) J'ai beau relancer le scrape, c'est toujours les mêmes images (sauf quelques-unes) qui ont ce fameux problème

Bonne soirée

[johnDoe_1]

Deuxième commentaire (je ne peux éditer celui du dessus, bizarre)

Je confirme, il me télécharge que des images endommagées

---

EDIT : Les logs --> https://www.dropbox.com/sh/i18zcqmi5rn5k8m/AACmqKjTg-6485g8ROsepwVca?dl=0

[screech]

Bizarrement, c'est comme s'il ne trouvait rien, aucune de tes Roms :S

[22:19:36] - /!\ Error File Line 1 : Erreur : Rom/Iso/Dossier non trouvée !
[22:19:36] - /!\ Bytes read: 41

Du coup, il fait des trucs bizarres avec les images...

Pour info, tu es le seul à me remonter ce genre de truc "bizarre" ^^ du coup, je "suppose" qu'il y a un pb chez toi... mais alors lequel :S

Si tu effaces complètement ton rep d'UXS, ton fichier gamelist.xml, le répertoire downloaded_images et que tu relance un scrape ? ça marche ?
A mon avis y a un truc qui bloque, mais je vois pas quoi.. Peux tu essayer aussi de scraper un autre systeme plus 'simple' genre megadrive ou Nes ?

[johnDoe_1]

@screech Salut, oui j'ai bien tout supprimé :X J'ai recommencé plusieurs fois, toujours la même chose. D'ailleurs j'ai même réinstallé Windows de zéro ! Je vais tenter autre chose mais j'avais déjà ce problème il y a quelques mois si tu t'en souviens

[johnDoe_1]

@screech Bon bah ça fonctionne après suppression et réinstallation du soft

[ten007]

Bonjour a tous. Etant nouveau dans l'emulation et donc novice, je n'ai pu trouvé la reponse à mon probleme sur le forum. Désolé.

Donc mon souci est le suivant, je ne peux installer que la version 2.1.0.4 sur mon ordi car les versions ultérieures me créé un message d'erreur à l'instalation a savoir "erreor line quelque chose puis subscript used on non-accessible variable" et donc impossible d'executer le logiciel. Cependant il fonctionne en version 2.1.0.4. Je scrappe mes roms sans souci. Et au moment de revenir sur recalbox, j'ai quelque roms dont les descriptions sont en francais mais je n'ai aucunes images de meme que le repertoire "downloaded images" de chaque repertoire de machine qui est vide egalement.
Pouvez vous m'aider?
merci d'avance

PS : j'ai un rapsberry pi 2 avec recalbox 4.0.2

[Skylord]

Bonjour à tous,

J'ai un problème : j'ai utilisé Universal XML Scraper en config automatique sans changer les répertoires. Du coup il m'a reconnu ma clé USB, a reconnu les jeux, a créée les images et les fichiers gamelist.xml avec les bons chemins.

Le problème c'est que quand je vais charger ma clé usb dans ma recalbox y'a rien qui se produit. Pas de texte pour les jeux, pas d'images, pas d'écran scindé en deux quand je choisis un jeu... Y'a t-il quelque chose qui me manque ? J'ai pas mis ma recalbox en réseau mais normalement il n'y a pas besoin d 'après ce que je lis dans les forums...

J'ai besoin d'un peu d'aide

Merci d'avance

PS: Pour exemple dans le fichier gamelist :

<gameList>
<game id="26" source="ScreenScraper">
<path>./Ecco The Dolphin.gen</path>
<name>ECCO THE DOLPHIN [USA] (TRAD)</name>
<desc>ECCO THE DOLPHIN SUR MEGADRIVE EST UN JEU D'ACTION QUI A L'ORIGINALITÉ DE METTRE LE JOUEUR AUX COMMANDES D'UN DAUPHIN. L'HISTOIRE DÉBUTE LORSQUE ECCO ASSISTE IMPUISSANT À LA DISPARITION DE TOUT L'ÉCOSYSTÈME, EMPORTÉ PAR UNE MYSTÉRIEUSE TEMPÊTE. 25 NIVEAUX DURANT, EXPLOREZ LES ABÎMES ET RÉSOLVEZ DE NOMBREUSES ÉNIGMES AFIN DE RAMENER LE CALME AU SEIN DE LA CRIQUE.</desc>
<image>./downloaded_images/Ecco The Dolphin-image.png</image>
<rating>0.75</rating>
<releasedate>19921201T000000</releasedate>
<developer>NOVOTRADE INTERNATIONAL</developer>
<publisher>SEGA</publisher>
<genre>AVENTURE</genre>
<players>1</players>
<region/>
</game>

J'ai un raspberry 3 b, recalbox 4.0.1

EDIT : je sais pas pourquoi mais maintenany ça fonctionne

[Arthesis]

Bonjour,

Je n'arrive plus du tout à utiliser UXML Scraper V2.
Il crash, et cafouille même à la fermeture de Win10 :

[GRALLEC]

@Arthesis utilise la version 32 et pas la 64 bits.Avec la 64 j'ai eu ce problème sur W10.

[Arthesis]

@GRALLEC Rien à faire, j'ai essayé, ça plante à mort, trop buggé.
Je vais laisser tomber, ça fait plusieurs jours que je suis dessus, il fait n'importe quoi ce programme, même quand on reboot au propre tout (PC, RasPi), il m’agace avec son "pas de réponse" planté. :[

NB : j'ai essayé sur 2 autres PC que j'ai, idem. J'ai même fait mode administrateur, compatibilité 32 bits etc... Rien, même pour l'arrêter c'est une plaie.