[SOFT] Universal XML Scraper V2

[screech]

oups !! désolé @romstation, j'avais zappé ton message :S

Pour le moment, c'est nous qui ajoutons les roms dans la BDD Screenscraper. Au besoin tu peux m'envoyer ton fichier missing.txt correspondant.

Petit detail pour que ce soit profitable à tous :
Si possible des roms connues et reconnues (pas de rom patché "maison" ou de rom provenant de site russe obscure...)
Si possible pas de roms zippées/dezippées/rezippées (Si c'est une rom zippée, elle doit provenir d'un "romset" facilement trouvable sur internet et ne pas avoir été modifiée)
Si possible les noms "d'origine" des roms (on évite les roms renommées, sinon on perd de l'info, on préfère un mario(j).nes par exemple pour identifier une rom Jap)
Pour les roms "particulières" genre les hacks ou les trads, si possible provenant d'un "goodset" histoire de pas en avoir 1 différentes par utilisateurs

Voila, c'est un peu restrictif, mais c'est pour pas mettre trop le dawa dans la BDD

[cotedeporc]

@screech,

Par affichage conditionnel, je pensais associer une liste d'image à une liste de valeur.
Le programme afficherais alors celle pour laquelle le champ donné correspond à la valeur correspondante.

Par exemple:
<Conditionnal>
<Name>GameType</Name>
<Source_Type>XML_Value</Source_Type>
<source_Origin>Game</source_Origin>
<Source_Value>genres/genres_fr</Source_Value>
<Case1_When>Aventure</Case1_When>
<Case1_Then>adv.png</Case1_Then>
<Case2_When>Action</Case2_When>
<Case2_Then>act.png</Case2_Then>
</Conditionnal>

J'ai essayé de respecter la logique du XML pour les thèmes.

[Ramstatlon]

@screech said in [SOFT] Universal XML Scraper V2:

oups !! désolé @romstation, j'avais zappé ton message :S

moi c est Ramstatlon, rien avoir avec romstation meme si la rom dont je parle vien de ce site

[screech]

@cotedeporc

Le conditionnel comme ça, ça doit pouvoir se faire, mais ça va vite tourner en usine à gaz :S

Par contre, du coup, je vois ce que tu veux faire et c'est prévu pour bientot au passage à la V2 de Screenscraper on pourra dl les picto (monochrome ou couleur) des genres, langues, régions, nb joueurs, classifications, compagnies,....

@Ramstatlon

oups désolé ^^

[DarkMatter]

I posted on the old V1 forum, and recently found this V2 one, which is the version of the scraper I'm using so Ill post again with some added info.

First of all thanks for the tutorial.

I'm able to run the scraper, and it finds most of the roms I went and checked \RECALBOX\share\roms\lynx and I see the downloaded_images folder with the game images, and there is a gameslist.xml file. However when I checked the system the images do not show by any of the games. I tried a restart, and still no luck.

I'm at a loss at how to proceed. I believe when it says "kill emulation station" before scraping that isn't working b/c the frontend is still loaded and showing on the TV screen in the other room while scraping occurs? I'm not familiar with using SecureShell, but I simply connect via network share.

Edit: I deleted the downloaded_images folder, and gameslist.xml. Ran XML Scraper V2 selected RecalBox v4 (MIX) this time instead of reg so I could use boxart with image. Scraped 82/84 Lynx roms and downloaded_images folder had the right images with box art this time. However, once again no box art is shown in emulation station.

[stamstamstam]

This post is deleted!

[stamstamstam]

Bonjour,
J'ai un problème avec le scrape de roms psx. J'utilise les .pbp d'emu^paradize, lorsque je lance le scrap, le soft me propose de killer emulstation puis plus rien, 30 mn plus tard toujours rien.

Plus tôt je n'étais capable d'ouvrir le soft a cause de "fatal error, problem connecting to database", est-ce lié?
En tout cas il n'a pas l'air de voir les roms ou le dossier, qui est pourtant tout a fait accessible à l'endroit standard.
Le soft plante car je suis obligé de le fermer avec le gestionnaire des taches.
J'utilise windows 7 64 pro.
Merci d'avance pour ton aide.

[screech]

Hello Everyone.

Sorry for the problem you can have with UXS and Screenscraper.
For the new year we are migrating server to a new big one.
In the main time, we are migrating screenscraper database to V2. So lot's of new things are coming.
Thank you to be patient, it's a matter of day (hour ?)...

Bonjour tous le monde,

Désolé pour les problèmes que vous pouvez rencontrer actuellement avec UXS et Screenscraper.
Pour la nouvelle année nous migrons de serveur et passant sur un nouveau Dédié beaucoup plus performant.
En même temps, nous faisons évoluer le site et la BDD de Screenscraper en V2.
Donc plein de nouvelles choses qui arrivent.

Merci d’être patient, il ne s'agit que d'une question de jours (heures ?).

Again we want to thanks all of you who help us participating to the BDD and with some tipee or patreon donation. Have an happy christmas and an happy new year.

Encore une fois, nous remercions tous ceux qui nous aide en participant à la BDD et financièrement avec Tipee et Patreon. Joyeux noël et bonne année..

[stamstamstam]

@screech Ceci explique cela, merci d'avoir pris le temps d'expliquer!

[stamstamstam]

Est-ce moi ou est-ce que cela n'est toujours pas fonctionnel?
Merci.

[rockaddicted]

Pas si simple ce genre de migration & upgrade ... ça prend du temps
Soyez patient et laissez la team screenscraper bosser tranquillement.

[Med27]

Bonsoir depuis ce matin je scrape avec XML scraper j ai une carte 64go avec 8000 jeux environ et sa fait 9h que j ai lancé le scrape avec le tuto mais j ai la barre de avancement qui reste grise et en dessous c'est écrit hashing avec plein de chiffres et de lettres qui défile pouvait vous me dire si sa scrape bien ou pas

[Med27]

Bonjour mon ordinateur est toujours en train de lancer sceen scraper et j ai toujours pas la barre de progression verte elle reste grise juste le hashing qui défile et quelques fois une fenêtre qui s affiche en me disant qu elle n a pas pu vérifier le programme et me demande d exécuter merci de votre aide car je sais pas si il faut que j annule ou pas

[Kenshin57]

Je pense que tu peux annuler, télécharger la dernière version et faire des test sur un seul émulateur ou tu n'a pas beaucoup de roms pour voir si cela fonctionne bien. Si c'est le cas tu peux scraper tout tes roms d'un coup

[paradadf]

I just can't believe people are complaining about not being able to scrape after it has been explained in english and french that they are migrating the servers and this might take a while! Nobody is going to die because of not having scraped games for a couple of days, for God's sake! Just wait and stop complaining!
I'd love to see you so desperate when a game doesn't have any metadata so you run as fast as you can to add it to the database!

[jofamilly13]

salut est ce normal aujourd'hui avec la nouvelle version j'ai un message au demarrage de xml scraper v2 comme quoi j'ai un probleme de
connections a BDD.

[Kenshin57]

J'ai toujours quelques roms que XLM scraper ne trouve pas alors que les données sont présente sur screenscraper.fr
Par exemple mes 6 jeux megaman sur nes ne sont pas trouvé. Je me demande si le problème vient du fait qu'il soit patché en fr ? Est-ce que ça modifie le CRC de la rom et c'est pour cela qu'ils sont introuvable ?

[acris]

@Kenshin57 oui ça modifie.
Tu as surement un fichier missing.txt des jeux av leur crc non trouvé si oui le fournir.

[Kenshin57]

Effectivement !

Voilà le fichier .txt
Castlevania 3 (Patch FR).nes 12C7DC93 393 232 17:28.00 2005-08-19 9070298405E31C74CED98723ECF81093
Dragon Warrior (F).NES 560F98C9 82 064 23:11.00 2011-04-06 6486F6B3714A723EEBFEB25AB9A6CBF4
Dragon Warrior 3 (F).nes 029C4C40 524 304 23:11.00 2011-04-06 DACD6987D59A3F08AC8DEF81AD1B6572
FamicomWarsFr.nes FACC5661 196 624 23:55.00 2016-10-05 2F3B5979FA709E86CE1B177FFF0BF48D
Final Fantasy 1.nes C0D54AD6 262 288 22:25.00 2010-11-06 5026E422664A02D1AEBAF4E03217971F
Final Fantasy 3 FR .nes 833B3697 524 304 11:24.00 2011-08-30 A8C9CFFE5083374DAEDA63AE653D5A32
Final Fantasy II.nes 6470828A 262 160 08:51.00 2011-10-27 69E431853AF7696D0FDADDE67C545CBA
Fire Emblem (English).nes 6EA742F1 393 232 17:56.00 2013-05-12 88103BE3835EF95FF7B69A2D970243D8
Mega Man (U) [T+Fre_Terminus].nes 2DE7FC3B 131 088 12:33.00 2003-10-11 1233E25B2507A151FCF726DC75336390
Mega Man 2 (U) [T+Fre1.0].nes 85BA447C 262 160 17:01.00 2000-06-20 50561E75C0933BBD15C2BE189B2689D2
Megaman 3 (Patch FR).nes A2C216B7 393 232 12:17.00 2014-01-14 F0F7152ADF47D951C489A6F0713244F2
Megaman 4 (Patch FR).nes B13020CF 524 304 12:21.00 2014-01-14 F7AFF7D36D67CD332159B53C6E51B86F
Megaman 5 (Patch FR).nes 8C9FA4E3 524 304 12:25.00 2014-01-14 8542A74FA60F11B817314192FE460B5E
Megaman VI (Patch FR).nes 94BB044E 524 304 12:30.00 2014-01-14 572D0B798F0B5B116A2C8E1719BCA913
Metroid.nes 29BA882B 131 088 22:25.00 2010-11-09 6BF97A32C42F07D3BB23A5FB3F82DEA7
Mother.nes 60B22741 524 304 11:30.00 2010-11-06 9D5612866CE29734FC31F9511FD609AB
Tecmo Bowl.nes B609E318 262 160 19:57.00 2000-06-23 CAE67CA584AB77A95404358461794AC6
Tetris.nes 6C538829 262 160 17:10.00 2013-06-25 E4139CEC621F7E40468A29B18F28C532

Du coup il y a moyen de contourner le problème pour qu'il scrape quand même les roms patché ?

[courte]

A mon avis le probleme de rom patché c'est juste parce que la region de la rom de ne doit pas etre renseigner sur Screenscraper du moins je pense. Screech repondra mieux que moi mais ça me semble plausible.