Yo experimenté lo mismo y despues de mucho buscarle encontré que el problema obedecia al engine/core configurado en Recalbox para utilizar con MAME, tenía configurado iMAME4ALL, y lo cambié por MAME078

MAIN MENU > GAME SETTINGS > ADVANCED > MAME > CORE

Cambia IMAME4ALL por MAME078

Ahora podrás invocar el menú de MAME con TAB

Enjoy It!