Lo que estas haciendo mal es no leer las reglas -> leer la wiki -> usar la funcion de busqueda en el foro.
https://github.com/recalbox/recalbox-os/wiki/PS3-controllers-drivers-(EN)
Los mandos de PS3 los tenes que conectar 10 segundos por usb y luego presionar el boton PS para emparejar, no se lo hace a traves del menu.