@ffanime92 Olá!
Você seguiu as instruções do manual?
https://github.com/recalbox/recalbox-os/wiki/Manual-(PT)
Não há nenhuma dificuldade para configurar os controles, na maioria da vezes, basta plugar o controle USB, esperar alguns segundos, e apertar qualquer botão, automaticamente abrirá a “Configuração de controles”, pedindo para você segurar algum botão ou apertar ESC para cancelar. Segure qualquer botão, espere alguns segundos, e você será redirecionado para a configuração propriamente dita, siga as instruções, e no último botão, o ** HOTKEY **, recomenda-se utilizar o SELECT.
Além disso, ainda no emulationstation, você pode configurar para que o controle 1 seja algum controle em específico, recomendo você fazer isso já que está com problemas. As vezes, por você ter mexido tanto para conseguir configurar o teclado e o controle, você pode ter feito algo errado, e então é melhor refazer a configuração de controle corretamente, e especificar o controle 1 para evitar possíveis conflitos de configuração.
O emulador de N64 não é integrado com o Retroarch, e por isso acho que não dá pra configurar especificamente ele. Porém, a configuração que é feita no Emulationstation é a que esse emulador usa, então você não deveria ter nenhum problema. Se você fez uma instalação limpa, da última versão original do Recalbox (versões modificadas/imagens prontas podem apresentar problemas e o Fórum não da suporte por isso), não deveria haver problema...