Überprüfe mal bitte, welche Videomode dein Monitor/TV als "preferred mode" haben will. Das machst Du via SSH mit tvservice -m CEA und tvservice -m DMT. Den "preferred mode" trägst Du dann als global.videomode in die recalbox.conf ein.

Hast Du "Pixel Perfect" in den ES settings aktiv? Wenn ja, schalte die Option mal ab.