Eu consegui fazer seguindo o tutorial: systemname.cfg na pasta do retroarch, o name.cfg e name.png dentro da pasta "overlays" -- que pelo q entendi é só uma pasta e pode ter qualquer nome desde q tenha o caminho apontado corretamente.
Eu uso o FBA LibRetro, não tentei com MAME, e funcionou perfeito, só q fica só aquilo, sem ter opção de tirar ou modificar o tamanho da tela.
O que não consegui foi fazer por jogo do jeito q ensinaram. Mas deve ser prq só serve p MAME, aí fiz de outra forma: salvei as preferências do jogo no retroarch e depois editei o romname.cfg q foi criado na pasta do core q estava usando -- não lembro o caminho de cabeça agora. -- Apaguei o que tinha dentro e botei o mesmo código q botei no systemname.cfg, com caminho apontando p onde ficam as overlays e deu certo do mesmo jeito.