Ja genau.
Ich hatte die SD Karte nochmals formatiert und dort zuerst Noobs mit recalbox und raspbian installiert. Damit ging es dann überraschenderweise. Diese duale Geschichte habe ich dann jedoch auch wieder gelöscht und erneut die das recalboxOS 4.0 wie zu Beginn installiert. Damit ging es dann nach wie vor.
Also, formatieren, recalbox erneut mit dem richtigen Dongle zu Beginn in die Kiste und das ruckeln war behoben.