@flaviogleison você não deixou claro se conseguiu acessar o menu do retroarch ou não... Já que o problema não é a versão do Recalbox, nem mesmo o driver, a única solução que eu imagino é tentar configurar o controle direto no retroarch, se isso não for possível, infelizmente só sobra a possibilidade de o controle não ser compatível e não ter solução ainda...
Verifica se consegue encontrar o seu controle na lista de compatibilidade e o status dele:
https://github.com/recalbox/recalbox-os/wiki/Compatibility-(EN)
Alguns controles de PS3, segundo a lista, só são compatíveis com um adaptador bluetooth, por alguma razão o bluetooth interno do RPi não consegue reconhecer corretamente, gerando problemas como o seu.
Se você tiver um desses adaptadores bluetooth (que seja um dos que são compatíveis, confira no mesmo link acima), faça um teste também.
Se não for nada disso, infelizmente eu já não sei mais o que poderia ser.