Je me réponds à moi-même.
En passant le bluetooth en mode slave et en désactivant le wifi, le temps de réponse de ma manette s'est grandement amélioré.
Voir sujet : https://forum.recalbox.com/topic/11683/temps-de-latence-bluetooth