Después de toquetear opciones veo que la lentitud tiene que ver con los shaders que vienen por defecto en el emulador de Gameboy. La combinación del shader "dot" (para que se vean los píxeles tipo parrilla) y los shaders para ver la pantalla en el tono verde típico de la Gameboy, hacen que funcione lento y con mal sonido. Desactivando alguno de ellos consigo que funcione bien, pero pierdo el aspecto "verde/pixelado" original de la Gameboy.
No sé si le pasa a alguien más o es problema de mi sistema.