Al final modificando en el archivo recalbox.conf el siguiente parámetro n64.videomode=CEA 1 HDMI funciona correctamente.