@Bkg2k Ma clé était formatée en NTFS mais ce système de fichiers n'est pas non plus capable de stocker les droits linux, ce qui explique le chmod inefficace.
Il semble néanmoins qu'un bug (https://gitlab.com/recalbox/recalbox/issues/529) soit présent lors du montage de la clé USB. En effet, par défaut le montage est effectué avec les droits maximum pour tous.
J'ai contourné le problème en formatant ma clé en FAT32. Depuis, je parviens à me connecter en SSH par clé publique (sans password donc).