- Exchange-Online-Ausfall: Latenter Fehler aus Juli-Fix legte Gateways lahm
Microsoft hat einen vorläufigen Post-Incident-Report zum weltweiten Ausfall von Exchange Online und weiteren Microsoft-365-Diensten vom 12. und 13. November vorgelegt. Ein Fix für die Software, die eingehende Verbindungen auf Microsofts Netzwerk-Gateways verarbeitet, war fehlerhaft, und als die Server ausfielen, wurde der Traffic auf gesunde Server – mit dem gleichen Problem – weitergeleitet, die wiederum ebenfalls ausfielen.
Der Fix wurde schon im Juli ausgerollt und laut Microsoft speziell für diese Gateways entwickelt, die vor Outlook und vielen anderen M365-Diensten stehen. Weder der Fix noch der Fehler beträfen andere Windows-Produkte.
Lasttests auf der falschen Hardware
Der Bug im Juli-Fix verursachte Lock Contention in einem internen Windows-Prozess, bis CPU und Arbeitsspeicher der Maschinen erschöpft waren. Lock Contention entsteht, wenn mehrere Threads gleichzeitig dieselbe Sperre anfordern, die eine gemeinsam genutzte Ressource schützt. Alle bis auf einen müssen warten, und die CPU verbrennt Rechenzeit mit aktivem Warten und Kontextwechseln statt mit eigentlicher Arbeit.
Beim Testen fiel der Bug nicht auf und die Software lief über drei Monate weltweit ohne Probleme. Microsoft räumt jedoch ein, dass die entsprechenden Lasttests auf schwächerer Hardware mit weniger Kernen liefen – wohingegen die Contention vor allem beim Einsatz von Maschinen mit mehr Kernen und neuerer Hardware zum Problem wird.
Failure Cascade
Die Fehlerkaskade setzte sich klassischerweise in Gang, als zwei Ereignisse zusammentrafen, die für sich genommen harmlos waren. Um 2:07 Uhr MEZ am 12. November schwenkte Teams vom alternativen Gateway-System auf das primäre Gateway um, das auch Exchange Online bedient – M365 nutzt zwei unabhängige Gateway-Systeme. Gleichzeitig waren fast 14 Prozent der Gateway-Server außer Betrieb. Zusammengenommen führte beides – Teams-Traffic zur amerikanischen Kernarbeitszeit und weniger Serverressourcen als sonst – zum Auftreten des latenten Serverfehlers bei starker Last.
Als dann Microsofts Health-Automatismus griff und den Traffic auf gesunde Server umlenkte, fielen die, da sie ja den gleichen Fehler in der Software hatten, ebenfalls aus. Innerhalb von zwei Stunden war die gesamte Flotte erfasst. Am Tiefpunkt reagierten über 80 Prozent der Server nicht mehr.
Rollback und Wiederanlauf
Dass die Partitionsgrenzen (Capacity Units) den Ausfall nicht regional eindämmten, führt Microsoft auf ein separates Problem zurück. Worum es sich handelt, hat der Konzern noch nicht gesagt, schreibt in seinem Bericht aber, dass der Ausfall nicht global geworden wäre, wenn die Partitionsgrenzen die Kaskade wie vorgesehen gestoppt hätten.
Neu gestartete Server wurden außerdem sofort vom wartenden Verkehr überrollt. Rollback, Flighting und Feature Flags konnten eine seit Monaten verteilte Änderung nicht schnell zurücknehmen. Stattdessen bauten die Techniker ein Update, das den Windows-Codepfad auf den letzten bekannten fehlerfreien Stand zurücksetzt. Es wurde ab 8:20 Uhr MEZ am 13. November eingespielt. Teams, OneDrive, SharePoint und die Office-Apps konnten auf eine andere Infrastruktur ausweichen, Exchange wegen seiner Größe allerdings nicht.
Ursprünglich hatte Microsoft nur von einem Problem aus einem früheren Upgrade der Netzwerkkapazität gesprochen. Der finale Bericht soll am 20. November erscheinen, der vorläufige Post-Incident-Report (PDF) ist öffentlich. heise online hatte über die ersten Serverausfälle und eine Phishing-Welle im Anschluss berichtet.
Wessen Unternehmen schon auf digitale Souveränität umgeschwenkt ist, konnte über die Verzweiflung angesichts des Exchange-Ausfalls im Bekannten- und Kollegenkreis nur den Kopf schütteln. Wie Unternehmen ihre Abhängigkeit von einzelnen Hyperscalern verringern können, ist Thema des diesjährigen IT Summit 2026 von heise in München. Auf dem Programm stehen Sovereignty Assessments, Cloud-Infrastruktur ohne Lock-in und Praxisberichte zum Umstieg von M365 auf Open-Source-Alternativen. Der zweitägige Kongress beginnt am 24. November, Kurzentschlossene können sich noch anmelden.
(kki)
Source: Heise · Kornelius Kindermann
At a glance
- Topic
- Technology
- Country
- 🇩🇪 DE
- Publisher language
- DE
- Added to Allnira