[SOFT] Universal XML Scraper V2

[caziotbenoit]

@manunuma as tu bien supprimer le fichier xml avant de lancer ton scrap?

[screech]

@caziotbenoit dans le menu configuration / Général, tu as une option "auto sélection du système" (ou un truc du genre)
décoche cette option. Au début du Scrape, il va te demander de quel système il s'agit, sélectionne "neogeo" manuellement (et si ça ne marche pas, réessaie en sélectionnant Mame)

@Arckange84 non ce n'est pas normal :S il faut que je vérifie, mais il peut aussi s'agir de ton romset qui n'est pas bien reconnu et qui du coup ne peut récuperer les regions correspondante...

@Pegoncology oui tout a fait, dans le menu configuration / général, tu as tout en haut à gauche le "fallback" pour les media (et aussi pour la langue). ça se présente comme ça : %COUNTRY%|xx|yy|zz|...
ça signifie : en premier prend le media correspondant à la région de la rom, si pas trouver prend le pays xx, si pas trouvé le pays yy, si pas trouvé le pays zz,....
L'espagne ne dois pas etre dans la préconfiguration (en tout cas français, elle y est quand tu choisi la langue espagnole ^^) donc tu peux rajouter un |es en fonction de ton choix (à la fin si tu veux que ça prenne les media espagnole en dernier recours)

@manunuma Effectivement, ça ressemble à un problème de "Emulationstation" pas quitté Il faut que l'écran de ta recalbox soit "noir" pendant le scrape (pas dans le menu). Au pire, si ce n'est pas le cas, après ton scrape, fait un "extinction rapide" plutôt qu'un arrêt "normal"

[caziotbenoit]

@screech Merci Beaucoup!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
Ca marche niquel , je suis un homme ravi!!!!!!!!!!!

[manunuma]

@screech en effet le problème vient d'ES non arrêté. Un petit coup de PuTTY, une commande Linux et tout va mieux. Par contre pourquoi US n'arrive pas à le couper tout seul ?

[screech]

@manunuma Excellente question... Surtout que j'utilise PLINK (la version ligne de commande de Putty) et que chez moi je n'ai jamais eu de problème... (Mais j'ai eu plein de retour, dès fois ça marche des fois ça marche pas )

[jolentas]

Puis-je copier un code pour mon utilisation?

[screech]

@jolentas désolé, je ne comprends pas du tout ta question :S

Un code de quoi ?

[youyou]

Bonjour tout le monde,
j'ai un petit souci au niveau de mes scraps. j'utilise la dernière version d'Universal scrap et ça marche super bien (bravo d’ailleurs !)parcontre quand je veux scraper mes jeux fba libretro, je vois que le soft fait bien son travail mais il ne m'affiche pas les notes ni les images. pourtant il m'a bien rajouté des images dans le fichier download-images et je vois que ma gameliste a été modifié.
J'ai donc vérifié encore les chemins avec le soft Universal et réitère l'opération plusieurs fois en supprimant même ma gameliste pour qu'il m'en fasse une nouvelle...mais voila même problème à chaque fois.... je m'en remet donc à vous. merci pour vos réponses.

[Arckange84]

@screech J'ai un romset no-intro 2016 et je viens de scrapper à nouveau. Pas de région. Il faut activer un paramètre particulier ?

[alvina35]

EDIT : Wrong EXE, I just corrected :S sorry

Corrected :
Some fallback in language xml
Fallback function (problem with standard mix not founding some picture)
Added :
Possibity to "Fixe" a Size by media in Standard profil with : <Target_Image_Width> and <Target_Image_Height>
Running on 2 servers now : Mirror and main server
New MIX Possibilty : "Text"
rotation GDI Function with <Target_Rotation> directly in the Element.
<source_Origin> can be put to "genre"
Don't forget to see the Wiki : https://github.com/Universal-Rom-Tools/Universal-XML-Scraper/wiki/[TUTO]-Making-a-MIX-Template

[dani31]

Bonjour à tous,

1/ Voilà je sèche complètement sur une chose, quand je scrap des jeux PS1 qui ne sont pas au format ISO, comme des CCD + SUB + IMG ou CUE + BIN, bien souvent les jeux sont ignorés.

Si je les convertis au format ISO avec ISO Buster, c'est détecté par XML Scraper, mais les jeux qui sont au format CCD + SUB + IMG contiennent bien souvent des données relatifs à des systèmes anti copies, et d'après ce que j'ai lu si conversion au format ISO on perd ces données et donc le jeu ne fonctionnera pas ou aura des problèmes.

Pareil pour les jeux comme Resident Evil 3 qui contiennent des fichiers SBI.

L'idéal aurait été que le scraper détecte ces jeux sans avoir à faire une quelconque conversion, ou alors il faut trouver des ISO reconnus par XML Scraper, mais alors là bonjour la galère, surtout si on les cherche en français...

2/ Quand on scrap avec XML il faut se connecter avec son compte screen scraper ou pas ? J'avais lu un tuto où il était indiqué que ce n'était pas obligatoire, merci.

3/ Il est normal qu'énormément de résumés de jeux atari soient en anglais ? (2600, 7800) pareil pour game and watch

4/ Le scrap des jeux atari jaguar ne fonctionne pas du tout, la jaguar n'est pas supportée par la recalbox peut-être ?

5/ Pareil pour l'atari 5200.

Un GRAND Merci pour votre aide, je galère sur ces points

[screech]

@youyou ça ressemble fortement à un probleme de Emulationstation 'non quitté'.
2 possibilités :
Bien faire attention qu' ES soit quitté avant le scrape (tu doit avoir un écran noir sur ta recalbox avant le scrape)
Ou bien faire une 'extinction rapide' après avoir scrappé...
Sinon, tes nouveaux fichiers gamelist.xml ne sont pas pris en compte.

@Arckange84 Effectivement on m'a déjà remonté le problème... Il faut que je check ça :S (vérifie quand meme que tout est bien coché dans les options de "nom" )

@alvina35 Don't understand what you need ^^ sorry...

@dani31 :
1/ Attention, toutes ces extensions ne sont pas forcement géré par Recalbox (vérifie le fichier lisezmoi du répertoire correspondant pour voir les extensions prises en charge...)
Dans tout les cas, tu as la possibilité de "rajouter" des extensions dans UXS pour que ces fichiers soient scrappé (voir dans la configuration générale, en bas à droite) il suffit d'ajouter cdd| aux extensions présentes. Attention cependant, tu risque d'avoir des "doublons" au scrape si tu laisse activé CCD + IMG par exemple.
Autre information importante : les dump de CD etant "gros", UXS ne les hash pas forcement, il se base sur le nom du fichier pour récupérer les infos. Et si ces noms ne sont pas référencés dans ScreenScraper, il ne trouvera rien.

2/ Ce n'est pas obligatoire, la seule différence : sans log ScreenScraper, tu scraperas tes Roms 1 par 1 (ce qui peut etre long si tu en as beaucoup), Avec un log et quelques participations sur le site de la Base de données, tu augmenteras le nombre de "thread" disponible et tu pourras donc scraper plus rapidement.

3/ C'est possible, la BDD Atari n'est certainement pas encore complète, je t'encourage donc à nous filer un coup de main et faire quelques traductions en FR des synopsis des jeux Atari ça permettra à tous le monde de pouvoir les scrapper, et en bonus ça augmentera ton nombre de thread (voir ci dessus )

4/ La jaguar n'est pas supporté par Recalbox (à ma connaissance), par contre la BDD existe sur ScreenScraper. Mais c'est loin d’être une des plus fournit

5/ idem. ScreenScraper va bientot avoir 2 ans certains systèmes sont les plus complet que tu puisse trouver sur internet (scrapable j'entend). Exemple la Megadrive a la BDD la plus complète que tu ne trouveras nul part ailleurs Cependant d'autre présente encore quelques lacunes... J'encourage tous ceux qui ont les connaissances, ou même juste un peu de temps à consacrer à l'ajout de media/information/traduction à la BDD à nous rejoindre

nous avons même un nouveau forum prêt à vous accueillir pour vous aider si vous avez des questions ou des besoins spécifique lié à la BDD : https://www.screenscraper.fr

[dani31]

@screech un grand merci à toi.

1/ Pour les isos ps1, toutes les extensions sont reconnues ? Ccd, img, sub, pbp... ? Les titres ps1 doivent être nommés d’une façon plus précise, il y aurait une liste de nom de fichier à donner pour les jeux ps1 ? C’est bizarre car en les convertissant en iso ils sont détectés mais du coup les systèmes anti protection sautent.

Exemple un peu bizarre aussi « resident evil 2 cd1 » est détecté et « resident evil cd2 » non.

2/ En fait pour l’atari 2600 j’avais récupéré un pack de roms et par exemple il y avait le jeu addams family, lui a été détecté et dans un autre pack il y était aussi et du coup il n’avait pas été détecté...

3/ Si un jeu atari 2600 est récupéré en « pal » je suppose que le résumé ne sera pas plus en français que si il est récupéré en USA ?

[screech]

@dani31
1/ La liste des formats reconnus et utilisable par Recalbox sont dans le fichier readme.txt/lisezmoi.txt de chacun des répertoires systèmes de ton répertoire "Rom" sur ta Recalbox. Ainsi tu sauras (en le lisant) si un fichier ccd ou un SUB peut etre utilisé sur Recalbox... Concernant UXS, il peut scraper n'importe quoi (meme des fichier *.tartanpion ), il suffit d'ajouter l'extension dans la config générale comme indiqué dans mon premier message.

2/ Le "matching" des Roms avec la Base de données se fait selon 2 criteres : En premier la Hash de la rom (un calcul qui permet de donner une référence unique à un fichier). Si ce hash n'est pas référencé, UXS essaye avec le nom du fichier pour voir s'il y a une correspondance dans la BDD. Si aucun des 2 c'est que tu as une roms renommée/decompressé/recompressé/rare/provenant d'un site louche

3/ Encore une fois, la base de données n'est pas exhaustive actuellement, nous sommes loin d'avoir 100% des synopsis en français de tous les jeux de toutes les consoles ... (100541 jeux référencés ^^)
On est pas si nombreux que ça a alimenter la base de donnée... donc toute aide est la bienvenue...
Si tu constate des synopsis en FR manquant, n’hésite pas à venir nous donner un coup de main et à l'ajouter à la base de donnée comme ça ton scrape (et celui de tous les autres) profitera de cette ajout

[old-school35]

J'arrive pas à lancer "Universal Xscrapper" perso à chaque fois ça me met une fenêtre "Universal X scrapper" a rencontrer un problème et doit fermer....puis peut importe ou je click le logiciel se ferme...
Quelqu'un a une solution?

[GRALLEC]

@old-school35 ferme ton anti virus et relance le soft

[old-school35]

Ok j'essaierai je vous tiens au jus merci.

[DacK]

Bonjour ami(e)s joueur(s) !

J'ai une petite question pour screech !

Tout d'abord merci pour tes outils, ils sont juste indispensables pour moi, un vrai plaisir de classer/nettoyer et scraper avec tes outils.

Je rencontre juste 2 petits soucis... (enfin je crois...)

Parfois, screen scraper me fait des png "vide" de 93 octets, ils sont là mais illisible...
J'ai d'abord pensé à une absence d'image sur le site Screenscraper mais pour "1080 Snowboarding (Europe) (En,Ja,Fr,De)" par exemple, l'image semble bien présente sur le site... du coup je comprends pas si ça vient de la rom ou du site (surcharge ?)

J'avais déjà scrapé pas mal de roms avant sans jamais rencontrer ça, si la rom était absente il ne faisait pas d'image...

Dernière chose, mes fichiers "missing" sont tous vides... du coup dur de savoir si la rom est manquante sur le site ou si c'est autre chose... j'ai cherché dans les options et quelques tutos mais rien ne fait mention de ça...

D'avance merci,
DacK.

Edit : Ce sont des scrap mix 4 img... je test avec 3 img.

[DacK]

Visiblement pas de soucis en 3 img ! c'est donc un bug j'imagine ?

Par contre, aucun nom dans le dossier missing...

Edit : J'ai 50sc de scrap en moyenne, il y a quelques semaine j'étais plutôt à 10sc... c'est une limitation sur mon ip ? (j'ai scrapé plusieurs heures par jour depuis quelques jours... en partie à cause de ce délai)
Du coup c'est quand même très long !

[screech]

@Dack es tu enregistré sur Screenscraper ?
Je pense que tes 2 problemes viennent de la
Pour les images qui ont eu un disfonctionnement si tu as scrapé ce WE sans etre "enregistré" ça a pu le provoqué (Le WE le serveur est plus chargé que d'habitude et du coup, on privilégie les utilisateurs et surtout les contributeurs enregistrés. C'est la "petite" récompense pour nous aider à alimenter la base)

De plus si tu participe ne serait-ce qu'un petit peu à la base de données (quelques medias et/ou informations/traduction de synopsis/Nb de joueurs,...) tu gagnes des "threads" qui te permette de scraper beaucoup plus vite (au lieu de scraper les jeux 1 par 1, avec ne serait ce qu'un thread supplémentaire tu scrape 2 par 2 du coup tu divise presque le temps de scrape par 2 en fonction de ton PC, debit, etc...)