Lo minimo que necesitamos saber es que version de RPi tenes y que tipo de conexion con el monitor que usas?!!!
Si es la RPi2, es recomendable hacer overclock. Para n64, los roms tienen que estar descomprimidos. Ademas, es obligatoria tener un mando al que se le haya asignado L y R (minimamente) para n64. Si con esas cosas no te funciona... Dale un vistazo a esto:
https://github.com/recalbox/recalbox-os/wiki/N64-:-return-to-ES-(EN)
https://github.com/recalbox/recalbox-os/wiki/Video-configuration-detailled-(EN)