Se eu substituir o adaptador, esse problema seria resolvido?
Não consigo garantir. Existe uma infinidade de hardwares possíveis entre adaptadores, cabos, e TVs, não tenho como dizer "compre o adaptador X e vai funcionar"... Mas como o problema só acontece com o adaptador, fica claro que essa é a causa.
Se você achar algum outro adaptador que consiga fazer a comunicação entre os dispositivos correta durante a conversão, o problema será resolvido.
Se possível teste com outros cabos antes de trocar de adaptador, um cabo HDMI de má qualidade também pode interferir.