So langsam habe ich jede mögliche Fehlerquelle überprüft, und so ziemlich jeden Tip hier im Forum ausprobiert um eine Lösung zu finden.
Mittlerweile ist jedes Plugin abgeschaltet, und der letzte "Luxus" der noch läuft sind die Varianten (Master / Slave).
Kann es wirklich an denen liegen? vielleicht hat ja jemand ähnliche Erfahrungen gesammelt oder sogar eine Lösung gefunden.
Bin mittlerweile bei teilweise 10s Wartezeit bei manchen aufrufen