Bon finalement, après être allé dans les configurations avancées des émulateurs ça se passe bien mieux !
Pour la PS1, Libretro, au lieu de PCSX_REARMED, pour la NeoGeo, Libretro au lieu de FBA2K, avec le core FBNEO, pour la GBA, les jeux tournent beaucoup mieux avec le core GPSP au lieu de MGBA. Par contre il est peut être moins compatible ? Avec GTA Advance par exemple, j'ai une sortie de jeux en début de partie, alors que ça ne le fait pas avec les 2 autres cores, mais du coup c'est injouable, dommage 
Bon, pour la PS1, on renoncera à toute véléité de jeux 3D. Pourtant il manque pas grand chose, Tekken 3 serait presque jouable, il saccade pas, mais mais c'est lent.
De façon général, ce qui pêche souvent et vient gâcher le jeu, c'est le son qui crache ou hachure...
Mais bon cette petite console avec Recalbox est bien sympathique et il y a de quoi faire ! 
Pour @willi68, moi je n'ai pas eu besoin du patch de retroflag, j'ai flashé l'image Recalbox sur ma carte SD (Samsung Evo 128Go) avec Etcher, et ça a fonctionné au premier démarrage.