Pela interface gráfica não tem como fazer isto.
Você terá que acessar o menu do Retroarch dentro do emulador que deseja controles customizados com as teclas Hotkey + B e aplicar a configuração para aquele core(emulador)
https://github.com/recalbox/recalbox-os/wiki/Custom-controller-mapping-for-specific-system-(EN)
Depois no arquivo recalbox.conf você aponta a configuração específica para aquele emulador.