[SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)
-
Justement c’était ce sur quoi je bossé
Je viens de mettre une nouvelle version en ligne avec une fenêtre de config un peu plus simple (avec des "hints" youhou !!) : v1.1.1.6 Je mettrais prochainement à jour le WIKI -
Super, fonctionne très bien cette petite version. J'ai une bizarrerie... lorsque je scrape mes roms neogeo (en configuration automatique "neogeo"), c'est le logo mame qui s'affiche pendant le traitement. Mais rien de bien génant. J'ai pas encore testé les autres roms. note: je suis sous mac OSX (via wine[bottler]) ++
-
@dale_coop Cool ça marche sur MAC via Wine ^^ Merci d'avoir testé
Sinon pour le logo Mame, c'est normal. Sur les conseils de MarbleMad (dev du site Screenscraper) Neogeo, CPS1, CPS2, et d'autre sont des "enfants" de mame. En gros si tu as des roms mame dans un répertoire Neogeo et que tu lui indique Neogeo, il ne les trouveras pas (enfin c'est plus vrai avec mes dernières modifs ^^) alors que des rom Neogeo dans un répertoire Mame, il les trouvera. @tout-les-autres ^^ Détail très important que j'ai oublié de mettre sur la dernière version : La recherche est en 3 étapes maintenant :- Le soft cherche le CRC pour le système défini
- S'il ne trouve pas, il cherche le CRC pour tous les Systèmes
- S'il ne trouve toujours pas, il cherche le Nom du fichier pour le système défini
Du coup, on devrait vraiment se rapprocher du 100% de Roms trouvées ^^ (Bon maintenant, il faut qu'on se mette tous au boulot pour compléter le site Screenscraper ^^ parce que c'est bien beau de trouver la Rom, mais s'il n'y a aucune info sur le site, bein il n'y a rien en retour ^^)
-
Ah ok, merci pour ces précisions, alors fonctionne parfaitement
Merci à toi pour toutes ces nouveautés bien appréciables. ++ -
Hello, je reviens un peu aux nouvelles, pour savoir si certains d'entre vous avez testé la dernière version (qui doit normalement trouver quasi 100% des roms)
-
Salut Screech, Excellent ton travail! Oui je l'ai testé mais je dois être trop nul, malgrès cette simplicité, je n'ai pas réussis à scrapper. Me suis refais un nouveau bartop, donc tout est démonter pour le moment, mais, promis je réessaye dès que possible. Juste une question, tu crois qu'une intégration de ton soft dans Recalbox est possible?
-
Malheureusement, c'est totalement impossible
Déjà parce que mon soft ne fonctionne que sous windows (Et macOs via WINE à priori ^^) Et surtout parce que je suis une grosse quiche sous linux (j'arrive même pas à compiler la version de base de la recalbox ^^ alors y ajouter des trucs :p) Par contre, si tu as des soucis pour faire fonctionner le scraper, n’hésite pas à revenir sur le forum je t'aiderais (et en toute logique, si tu as une recalbox "de base", c'est à dire sans modification de nom, ou de log/mdp, tout devrais fonctionner tout seul...) Tiens moi au courant -
Est ce que ça intéresserait certain si Universal XML Scraper était capable de créer ce genre d'image à la volé pendant le Scrape :
En gros, une fusion du Screenshot au fond, du boitier 3D (ou 2D) et de la Wheel avec le nom. Pour info l'image ci dessus est généré depuis un tout petit bout de code donc en mettant des paramètres qui vont bien je peux avoir un rendu un peu plus jolie (la le boitier 3D est dégueu...) et surtout automatiser le truc pendant le scrape ça vous dit ou je vais pas plus loin que mes essais pour tester le GDI+ (moteur de manipulation d'image) ? -
Salut j'ai testé la dernière version et effectivement il y a moins de roms manquantes enfin de captures d'écran. Par contre, il me manque certains résumés de jeux Pour neogeo, le scrapper a utilisé la base mame Effectivement il manque le résumé fr mais il y a un résumé us qu'il aurait dû prendre à la place logiquement non ? Par contre les résumés complets FR sont dispo sur les bases NEO-GEO AES ET MVS Je n'ai pas utilisé la config auto ni charger un profil je suis allé directement dans configuration. Quand jai testé de stopper le scrap j ai eu aussi un message derreur sur un variable
exemple : http://www.screenscraper.fr/recherche.php?numpage=0&action=androduno<game id="40006" source="ScreenScraper"> <path>./androdun.zip</path> <name>ANDRO DUNOS</name> <desc/> <image>./downloaded_images/androdun-image.jpg</image> <rating>0</rating> <releasedate/> <developer>VISCO CORPORATION</developer> <publisher>VISCO</publisher> <genre>SHOOT'EM UP</genre> <players>1-2 PLAYERS</players> <crc32>D09C5A67</crc32> <md5>CFB6ED85BD9357B5769AB3C9CF66DF58</md5> <sha1>5FB3A5F69DBF5D6AFAF9F5DB1F055A6B11DBE86D</sha1> </game> -
Hi @screech, Ce que tu propose là m'intéresse énormément!!!! J'avais dans le projet de faire un thème avec 3 metadata image mais il aurait fallu bidouiller ES. Du coup ta solution est beaucoup mieux! En plus je suis en train de finir un thème où les images sont plus grandes. Le seul problème est qu'est-ce que ça donne pour les roms où il ne trouve pas d'infos ou juste le screenshot? Tu travailles toujours uniquement avec hash? Parce que mes sets fba et mame ne sont toujours pas reconnus (mais neogeo si alors que ça vient du set fba :s) Ne pourrais tu pas rajouter une étape (optionnelle?) pour checker avec le nom de rom si screenscraper le permet? En tout cas pour en revenir à ta proposition, oui!!!!!
-
@Acris Alors, concernant la config, de base, le profil "pré-sélectionné" est Screenscraper-RecalBox V4
donc pas besoin de choisir de profil, tu as déjà le bon. Sinon, effectivement, la base n'est pas encore complète, il manque encore pas mal de résumé Fr... (Libre à nous d'alimenter la base de donnée ) En toute logique, s'il n'y a pas de résumé Fr mais qu'il y a un Résumé Us, il devrait au moins te mettre le résumé Us.... Je vais vérifier pourquoi cela ne fonctionne pas. Concernant l'exemple que tu site, effectivement le jeu ANDRO DUNOS Existe pour 3 systèmes : Neo-Geo AES, Neo-Geo MVS et Mame. Si je regarde le CRC que tu fournis : D09C5A67 il correspond à la version Mame. Et, pas de bol, c'est le seul qui n'a pas de résumé Fr :S (Je l'ai ajouté du coup, il faut maintenant attendre qu'il soit validé ) Enfin, concernant le message d'erreur, si tu peux le reproduire, il faudrait que tu m'envois le fichier log que je vois à quel moment il plante :S Je n'ai pas eu le cas sur les différents tests que j'ai fait (tu étais en mode "Ajout" ou "nouveau fichier" ?) Je trouverais bien le pourquoi du comment Merci pour ces retours. @Supernature2k Hello, normalement, si tu utilise la dernière version, il fait en dernier recours une recherche avec le nom du fichier (comparer au nom du jeu... Du coup, peut être moins fonctionnel sur des jeux mame :S) L'ordre est le suivant : Test du CRC pour le système sélectionné. Si pas trouvé : Test du CRC pour tous les systèmes. Si toujours pas trouvé : Test du nom du fichier pour trouver une correspondance avec un nom de jeu pour le système concerné. Concernant la fusion d'image, je vais essayer de faire un truc configurable (pour les résolutions et le placement des images Et si une des image n'est pas trouvé il fera des fusions partielles (genre que le screenshot et la wheel, ou que le boitier et la wheel, etc...) Je vous tiens au courant ^^ -
Salut @Screech
Concernant l’exemple que tu site, effectivement le jeu ANDRO DUNOS Existe pour 3 systèmes : Neo-Geo AES, Neo-Geo MVS et Mame. Si je regarde le CRC que tu fournis : D09C5A67 il correspond à la version Mame. Et, pas de bol, c’est le seul qui n’a pas de résumé Fr :S (Je l’ai ajouté du coup, il faut maintenant attendre qu’il soit validé ? )
j'en ai d'autres dans le même cas, pour neogeo il a pris mame comme scrap et j'en ai plusieurs sans résumé. De mémoire le résumé us etait au moins présent sur quelques uns.
Enfin, concernant le message d’erreur, si tu peux le reproduire, il faudrait que tu m’envois le fichier log que je vois à quel moment il plante :S Je n’ai pas eu le cas sur les différents tests que j’ai fait (tu étais en mode “Ajout” ou “nouveau fichier” ?)
je l'ai fait pleins de fois ce matin je devrais le reproduire (je suis sous windows 10), je regarde ce soir pour te fournir le log. j etais sur nouveau fichier (l option par défaut je crois bien) Quand je lance scrap (j'etais sur neogeo et fba) et que je l’interrompe tout de suite apres la fenetre apparait.
-
@Acris Suite aux recommandations de MarbleMad, je sélectionne effectivement MAME pour les roms NEOGEO (la NEOGEO étant un système "enfant" de MAME) Jusque la tous va bien. Concernant le résumé US, c'est encore plus bizarre si des fois ça marche et d'autre fois non. Je n'ai pas encore eu le temps de tester, mais je vais regarder ça. Enfin, pour le message d'erreur, c'est un test que je n'ai pas fait (Annuler avant même la première Rom) je vais regarder ça
Merci pour le retour. -
@Supernature2k Je viens de voir avec MarbleMad, c'est surprenant qu'il ne trouve pas tes roms FBA ou Mame... Tu utilise bien la dernière version d'UXS ? Si c'est le cas, pourrais tu m'envoyer un log avec des roms non trouvées pour que je check pourquoi (voir une ou deux roms pour que je test : screech [at] free.fr ) En toutes logique, si tu n'as pas renommer tes roms, il devrais les trouver (exemple avec une rom nommée ssf2t.zip pour Super Street Fighter II Turbo sans CRC, l'API retourne bien un bon résultat....) Au pire, il est possible que tu ai des éléments entre crochets (exemple un [!] pour un dump complet. Et effectivement ces roms ne sont pas référencées... Je vais voir si je peux modifier la requête pour supprimer ces élément au moment de la recherche
) -
Au temps pour moi @screech, je devais avoir 2 ou 3 versions de retard (tu vas trop vite :p). Effectivement les oms fba passent bien maintenant. En revanche screenshot uniquement. Merci pour tout ce boulot! Ton soft nous aide grandement!
-
Salut @screech voici le log de ton soft mais je pense pas que ça va t'aider :
[21:53:02] - --------------------------------------------------------------------------------------- [21:53:02] - Debut de fusion des fichiers -
Salut Screech, Je compte tester ton scrapper ce weekend, mais avant j’aurai aimer savoir si ton soft gère le fait qu’il y ai des sous repertoire dans le repertoire qui contient les roms ? Chez moi, j’ai 2 sous repertoires : un ‘favori’ qui contient mes jeux preferes et un ‘autre’ qui contient le reste de la rom set no intro. Du coup, ton scrapper fonctionne t’il dans cette configuration ? Merci d’avance de ton retour
Alors je viens de tester
Malheureusement il ne le fait pas en automatique, il te faudra scraper un par un tes sous repertoires, mais ça fonctionne. Exemple de configuration : Si tu as une architecture comme ça : \RECALBOX\User data\roms\nes\plateforme \RECALBOX\User data\roms\nes\action \RECALBOX\User data\roms\nes\fav Il faudra que tu fasses un premier scrape avec les paramètres suivant :$PathRom =\RECALBOX\User data\roms\nes*plateforme* $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/
un deuxième
$PathRom =\RECALBOX\User data\roms\nes*action* $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/
un troisième
$PathRom =\RECALBOX\User data\roms\nes*fav* $PathRomSub =./fav/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/
Sans oublier, si tu as aussi des Roms à la racine du répertoire nes de faire un scrape avec les paramètres suivant :
$PathRom =\RECALBOX\User data\roms\nes $PathRomSub =./ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\downloaded_images\ $PathImageSub =./downloaded_images/
n'oublie pas non plus de bien cocher la fonction "Ajout de rom" dans le fichier config pour qu'il te mette tous les jeux dans le même fichier xml Au final, tu auras un seul fichier xml ici : \RECALBOX\User data\roms\nes\gamelist.xml tu auras un seul répertoire avec les images ici : _\RECALBOX\User data\roms\nes\downloaded_images_ Et tes différentes roms dans tes différents répertoires. Si tu veux, tu peux même t'amuser à dissocier les images
pour cela : Il faudra que tu fasses un premier scrape avec les paramètres suivant :$PathRom =\RECALBOX\User data\roms\nes\plateforme $PathRomSub =./plateforme/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\plateforme\downloaded_images\ $PathImageSub =./plateforme/downloaded_images/
un deuxième
$PathRom =\RECALBOX\User data\roms\nes\action $PathRomSub =./action/ $PathNew =\RECALBOX\User data\roms\nes\gamelist.xml $PathImage =\RECALBOX\User data\roms\nes\action\downloaded_images\ $PathImageSub =./action/downloaded_images/
etc... Désolé que ce ne soit pas plus simple
je regarderais peut être un jour pour qu'il gère automatiquement les sous répertoires, mais à priori c'est un gros chantier qui modifie pas mal le fonctionnement du truc ^^ -
Hello Screech, Merci pour ton retour aussi rapide ! Je vais du coup, peut etre tout repasser dans le repertoire initial. Par fleme de faire X scrap pour X console
Je n'oublie pas de te faire un retour début de semaine prochaine -
Nouvelle version : v 1.2.0.0 !! On serait chez Apple, je pourrais vous dire "Ceci est une révolution !!!" Universal XML Scraper gere maintenant le Mix d'image !!! Tout est configurable (via le fichier de config pour le moment
) et voila ce que vous pouvez obtenir : -image.png)
-image.png)
-image.png)
Ce ne sont que des exemples et les possibilité sont infinies Pour l'utiliser, il suffit de choisir le profil "ScreenScraper (MIX)-Recalbox v4" Et vous obtiendrez, par défaut, quelques choses du genre de la première image. Si des medias sont manquant sur Screenscraper, il fera le mix avec les éléments qu'il possède. (juste le screenshot, ou le screen+le boitier, ou rien du tout, ....) Je prévois d'autres améliorations à terme, comme l'ajout d'image "fixe" pour y ajouter les images "dynamiques" provenant de Screenscraper ou bien encore l'ajout possible des images provenant du système (wheels de la console, image 3D de la console, image des manettes, etc...) Je vais m'atteler aujourd'hui à corriger le WIKI de UXMLS pour vous expliquer comment faire ce que vous souhaitez Mais dans tous les cas, je suis à votre dispo si vous avez des demandes particulieres ( @Acris j'en ai aussi profité pour corriger le petit bug du message d'erreur, n'hesite pas à me tenir au courant ) -
Screech, Je pensais à mon problème de ce matin : si je réalise cette procédure : - remettre tout dans le repertoire d'origine - Lancer ton scrapper - Redeplacer mes jeux dans leur repertoire (favoris et autre) L'affichage des images fonctionnera t'il toujours sous recalbox ? Encore désolé de toutes mes questions
