Recalbox Forum

    • Register
    • Login
    • Search
    • Recent
    • Tags
    • recalbox.com
    • Gitlab repository
    • Documentation
    • Discord

    [SOFT] Universal XML Scraper - Scrappez vos roms depuis Windows (Scrape your roms from Windows)

    Community projects
    [soft] universal xml scraper scrappez
    73
    656
    481386
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • voljega
      voljega Banned last edited by

      Bon je crois que ton soft me hait 😄 J'ai lancé un scrape du full set gameboy (1600 roms) ça a pris 9h à la fin il me dit bien qu'il en a trouvé 1596, le gamelist est bien rempli avec des infos dont des paths vers les png des images mais dans le répertoire ./downloaded_images... rien aucune image ! J'ai cherché sur l'intégralité de mon disque dur du coup, pas de trace des images... Le scrape a pourtant pris 9h ! C'est ptet l'erreur pour le width de l'image que je viens de voir dans le fichier.... mais même avec 600 ça change rien faut il mettre une taille pour la hauteur aussi ? Je précise au cas où que je suis derrière un VPN si ça pose problème pour screenscraper   La conf : LAST_USE] $PathRom        =C:\Temp\Prov\recalboxroms\gb\ $PathRomSub        =./ $PathNew        =C:\Temp\Prov\recalboxroms\gb\gamelist.xml $PathImage        =C:\Temp\Prov\recalboxroms\gb\downloaded_images $PathImageSub    =./downloaded_images/ $No_Profil        =1 $user_lang        =0409 $HauteurImage        = $LargeurImage        =6800

      1 Reply Last reply Reply Quote 0
      • screech
        screech last edited by

        En toute logique le VPN ne pose pas de problème, Je sais qu'il y a eu un problème sur le redimensionnement à la volé mais normalement corrigé par Marblemad. Par contre, 6800 de largeur !!! c'est un peu beaucoup non ? Du coup, c'est peut Etre ça qu'il n'arrive pas à faire ( la game boy possède une résolution de 160×144 et tu demande un interpolation en 6800x6120 !! (tu compte mettre ça sur une recalbox ???) ) si tu veux la taille d'origine, tu ne met rien, si tu veux une taille définis, précise les 2 maximums (mais sans dépasser les bornes du raisonnable 😉 sachant qu'il va essayer de maximiser l'image en redimensionnant pour que la résolution soit la plus grande possible sans depasser les 2 bornes 😉 Au pire, s'il y a un problème, télécharge la dernière version et tu colle un "verbose=2" dans le fichier ini. ça va considérablement augmenter ton temps de scrape, mais tu n'est pas obliger de le faire complet (juste quelques roms) et tu auras des traces plus que complètes... Enfin, en toute logique, tes images sont ici : C:\Temp\Prov\recalboxroms\gb\downloaded_images Et dernier truc : 9H !!!!!!! mais WTF :S je ne sais pas si c'est ton VPN qui ralentis énormement le scrape ou si c'est la résolution un poil abusée 😉 mais c'est pas normal 9h 😉 Je scrape entre 1000 et 2000 Roms en entre 1 et 2h grand max.... Et mes roms sont sur mon nas... Pas en local :S

        Clean your Romset with Universal ROM Cleaner
        Scrape your Romset with Universal XML Scraper

        1 Reply Last reply Reply Quote 0
        • voljega
          voljega Banned last edited by

          Bon j'ai trouvé c'est un bug coquinou 😉 $PathImage        =C:\Temp\Prov\recalboxroms\gb\downloaded_images il faut un\ à la fin sinon les images sont copiées à la racine en tant que downloaded_imagesnomdujeu.png ! Les 9h je pense que c'était à cause du 6800 avec 800 ça a l'air beaucoup plus rapide. Par contre il me télécharge les screenshots alors que j'aimerais les covers comment faire pour avoir celles ci ? J'ai essayé d'inverser le contenut de ELEMENT_11 et ELEMENT_13 dans la conf Recalbox V4 mais ça ne semble pas avoir d'effet

          1 Reply Last reply Reply Quote 0
          • screech
            screech last edited by

            Cool 😉 merci 😉 tu vas devenir déb****r officiel si tu continue 😉 Je vais corriger ça rapidement. Sinon pour les covers, je te renvois sur le wiki : Changer le type d'image Inverser juste le 11 et 13 ne doit pas suffire, il faut comprendre qu'il les prend dans l'ordre, donc en gros ce que tu as fait : Il cherche une cover eu, s'il n'y en a pas, il cherche une cover fr, s'il n'y en a pas, il prend un screenshot. pour augmenter tes chances d'avoir une covers, inverse la 11 et la 15 😉 comme ça il cherchera aussi les covers us et jp avant le screenshot...

            Clean your Romset with Universal ROM Cleaner
            Scrape your Romset with Universal XML Scraper

            1 Reply Last reply Reply Quote 0
            • voljega
              voljega Banned last edited by

              Ahahah ouais enfin ça va me rappeler trop le boulot après 😄 Cool merci et désolé je n'avais pas vu qu'il y avait un wiki. Une évolution qui serait sympa pour la récupération des images ce serait un "Keep aspect ratio" on peut pour l'instant spécifier uniquement le width ou le heigth mais dans ce cas seul la dimension correspondante de l'image est resizée, et du coup c'est légèrement déformé... Par ailleurs si on ne spécifie rien pour ces deux paramètres, est ce que l'image est récupérée dans la taille originale sur Screenscraper ? parce qu'en soit pour la plupart elles sont dans une très bonne qualité...

              1 Reply Last reply Reply Quote 0
              • screech
                screech last edited by

                Normalement, il garde le ratio ? Les dimensions indiquées sont des "maxi" et il est censé adapter la taille pour maximiser l'image sans la déformer meme si tu ne précise qu'un seul maxi (il faut que je check ça :S) concernant la taille original, tout dépend de ce que tu récupère. Si tu ne précise rien, c'est la résolution de l'image brut qui est sur screenscraper. Certain screenshot par exemple sont dans leur taille d'origine (ex : la gameboy, les screen, pour la plupart sont en 160x144) Par contre, les covers ou box 2D/3D ont des résolutions très très correct.

                Clean your Romset with Universal ROM Cleaner
                Scrape your Romset with Universal XML Scraper

                1 Reply Last reply Reply Quote 0
                • voljega
                  voljega Banned last edited by

                  Oui carrément pour les covers 🙂 En tout cas je te confirme que le ratio pour les screenshot est effectivement concerné maintenant que j'y pense mais apparemment pas pour les covers 2D qui semble conserver leur hauteur d'origine quand on ne spécifie que la width

                  1 Reply Last reply Reply Quote 0
                  • vectorus
                    vectorus last edited by

                    Bonjour, déjà un grand merci pour ton travail Screech, ton scraper est super efficace et très facile d'utilisation, je n'utilise presque que lui à présent 🙂 Je me permets toutefois de faire remonter quelques petites constatations et idées : 1- J'ai l'impression que le scraping est moins efficace sur les grosses liste de jeux : Par exemple pour une cinquantaine de jeux il me faut approximativement entre 2 et 5 minutes pour scraper le tout, mais pour une liste de 250 jeux la première moitié du scraping est rapide mais la seconde moitié l'est beaucoup moins et il me faut environs 50 minutes pour terminer le travail. Ça ne semble donc pas proportionnel à la quantité de jeux, ce n'est peut-être qu'une impression mais je tenais à en faire part. 2- Les informations sur les dimensions d'images souhaités ne restent pas enregistré d'une fois à l'autre, alors que les informations sur les chemins des dossiers et fichiers eux le reste, ça pourrait être intéressant de faire de même pour les dimensions. 3- C'est une simple suggestion, mais l'ajout d'une fonctionnalité permettant de rechercher et d'ajouter le scrape  d'un jeu manuellement pourrais avoir une grande utilité, par exemple pour un jeu non détecté ou pour une traduction non officielle qui ne serait pas prise en charge autrement. Je suis conscients que ça ne présente pas une grande utilité en général et que ce n'est probablement pas simple à mettre en place, encore une fois c'est une simple suggestion.

                    1 Reply Last reply Reply Quote 1
                    • screech
                      screech last edited by

                      @Voljega Je vais voir avec @Marblemad pour le redimensionnement (c'est screenscraper qui le fait ^^) @Vectorus (déjà merci ^^) 1- Effectivement, plus il y a de roms plus sa ralentis sur la fin, il faudrait que je vois comment optimiser ça 😉 Mais à priori, c'est un problème d'écriture de fichier XML qui peine un peut (en tout cas les fonctions que j'utilise) à écrire les chose au bon endroit quand il y a trop de chose 😉 2- Je corrigerais ça ce WE 😉 3- c'est une fonction prévus, mais pas dans screenscraper 😉 ce sera integré un jour, (quand j'aurais le temps) dans Universal XML Editor 😉

                      Clean your Romset with Universal ROM Cleaner
                      Scrape your Romset with Universal XML Scraper

                      1 Reply Last reply Reply Quote 0
                      • vectorus
                        vectorus last edited by

                        Effectivement ça se comprend, c'est vrai que ça fait beaucoup d'informations pour un seul fichier. Super pour la correction ! Oui pour la fonction recherche c'est vrai que ça conviendra mieux à Universal XML Editor

                        1 Reply Last reply Reply Quote 0
                        • voljega
                          voljega Banned last edited by

                          Pas totalement lié mais en essayant de récupérer les covers Vectrex ça ne me renvoie que des screenshots. Si je vais voir sur ScreenScraper j'aperçois que les textures sont toutes présentes mais que les box 2d et 3d ne sont pas "auto-générées" Euh y'a moyen de les autogénérer ? 😄

                          1 Reply Last reply Reply Quote 0
                          • screech
                            screech last edited by

                            Je fais la demande à Marblemad 😉 (Par contre il est pas mal occupé 😉 je ne sais pas s'il pourra le faire rapidement.)

                            Clean your Romset with Universal ROM Cleaner
                            Scrape your Romset with Universal XML Scraper

                            1 Reply Last reply Reply Quote 0
                            • voljega
                              voljega Banned last edited by

                              Ok merci 🙂 Sinon pour télécharger les covers 2D à la main directement sur le site en résolution 'grande' (celle indiquée quoi) il faut être membre ? sinon comment faire ?

                              1 Reply Last reply Reply Quote 0
                              • MarbleMad
                                MarbleMad last edited by

                                Les covers 2D et 3D de la vectrex viennent d'être générée ! pour d'autres demandes (car je passe pas souvant sur le fofo de RB), y a une rubrique sur le forum de screenzone !

                                1 Reply Last reply Reply Quote 0
                                • rockaddicted
                                  rockaddicted last edited by

                                  putain le mec vient faire de la pub pour son forum chez nous @arcadmy hahaha 😉

                                  Recalbox V4.1.0 - RPI3 OC - Xbox360 wireless
                                  Wiki ENG : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(EN)
                                  Wiki FR : https://github.com/recalbox/recalbox-os/wiki/Mini-How-To-(FR)

                                  Don't forget to upvote messages if it has been useful ;)

                                  1 Reply Last reply Reply Quote 0
                                  • MarbleMad
                                    MarbleMad last edited by

                                    Si ça dérange, je peut aussi m'abstenir de répondre au demande de la communauté RB sur votre Forum !

                                    1 Reply Last reply Reply Quote 0
                                    • voljega
                                      voljega Banned last edited by

                                      Je crois que @rockaddicted plaisantait 😉 Sinon je passerais si besoin sur le forum si tu n'as pas le mail te prévenant automatiquement d'un nouveau message ^^ mais j'ai remarqué aussi que les covers PC Engine sont mal générées par rapport à la texture sur la plupart d'entre elle (en tout cas en début de liste) il manque une bande sur le côté gauche (elles devraient être carrées je crois). quelques unes ont l'air correctes quand même donc c'est zarb peut être les textures ne sont pas toutes au même format

                                      1 Reply Last reply Reply Quote 0
                                      • voljega
                                        voljega Banned last edited by

                                        Hello il semble qu'il y a ait un petit souci côté serveur ou que l'api ait changé : depuis hier les derniers scrapes que j'ai fait ne récupère plus les pochettes 2D mais les screenshots uniquement. J'ai pourtant toujours la conf : $ELEMENT_11         = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_eu|path:image' $ELEMENT_12         = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_fr|path:image' $ELEMENT_13         = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_us|path:image' $ELEMENT_14         = 'image|path:image|medias/media_boxs/media_boxs2d/media_box2d_jp|path:image' $ELEMENT_15         = 'image|path:image|medias/media_screenshot|path:image' Et je viens d'aller voir sur le site les covers 2D N64 et Vectrex sont pourtant bel et bien là ? J'ai pas la dernière version si tu viens de la mettre à jour par contre j'ai la version 1.0.0.6

                                        1 Reply Last reply Reply Quote 0
                                        • MarbleMad
                                          MarbleMad last edited by

                                          essai avec un D majuscule a 2D !

                                          1 Reply Last reply Reply Quote 0
                                          • MarbleMad
                                            MarbleMad last edited by

                                            Les box2D de pc engine ont été régénérées correctement !

                                            1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Want to support us ?

                                            77
                                            Online

                                            99.6k
                                            Users

                                            28.1k
                                            Topics

                                            187.1k
                                            Posts

                                            Copyright © 2021 recalbox.com