MAME et FBAlpha ne font pas vraiment tourner les même jeux, tout au moins les versions fonctionnelles sur recalbox, il y a plus de support pour les bornes américaines (atari, midway, williams) dans mame, et il y a plus de support pour les bornes japonaises "moderne" dans fba (pgm, psikyo, cps3). A noter que fbalpha a ajouté pas mal de bornes américaines dernièrement (mais c'est un autre sujet vu que recalbox utilise une version datée d'il y a ~6 mois).
Hormis fbalpha-libretro, tout ces émulateurs sont en fait de vieux émulateurs sur lesquels on évite de faire des améliorations pour ne pas dégrader les performances sur les machines lentes. fbalpha-libretro est quand à lui en perpétuelle évolution, ce qui signifie qu'il peut y avoir des régressions en terme de vitesse quand des choses sont améliorés (sur un rpi3 on doit quand même être à plus de 90% des jeux qui fonctionnent parfaitement).
Ce que tu appelles FBA s'appelle en fait pifba (les noms dans recalbox portent à confusion...) et n'est conseillé que sur des machines très très lentes genre rpi0 et rpi1 car il lui manque beaucoup de choses (shaders, savestates, ...) et comporte quand même beaucoup de bugs.
Dans recalbox, quand tu places tes roms dans les dossiers fba_libretro ou neogeo, c'est l'émulateur fbalpha-libretro qui est utilisé par défaut je crois.
Tout ces émulateurs utilisent des romsets différents, je pense que cette partie est expliquée suffisamment sur le wiki.