Mircosoft-manager Charles Lamanna geeft tekst en uitleg bij de storing
Een softwarefout die maandenlang onopgemerkt bleef, leidde tot een wereldwijde kettingreactie. Dat is volgens Charles Lamanna, topmanager bij Microsoft, de oorzaak van de wereldwijde storing van Mircosoft vorige week.ย "Binnen minder dan 2 uur was meer dan 80 procent van onze servers onbereikbaar", schrijft hij op X.
Vorige week donderdag, rond 18.40 uur, ontving Microsoft de eerste gebruikersmeldingen: klanten konden plots geen verbinding meer maken met onder meer , , ,... De storing zou in totaal ongeveer 20 uur duren en wereldwijd heel wat hinder veroorzaken.ย
Relatief snel kwam Microsoft met een verklaring voor de storing: er zou geen sprake zijn van hacking, maar wel van "een overbelasting van de servers". Microsoft-manager Charles Lamanna geeft nu in een voorlopig rapport meer details vrij over wat er precies is foutgelopen.
De kern: een verborgen softwarefout, een onverwachte verschuiving in het netwerkverkeer en een tijdelijke capaciteitsvermindering versterkten elkaar. Daardoor viel een groot deel van de -netwerkinfrastructuur wereldwijd uit.
In juli voerde Microsoft een softwarewijziging door aan de servers die al het netwerkverkeer van Microsoft 365 verwerken. "Die wijziging bevatte een verborgen fout", legt Lamanna uit. "Onder bepaalde omstandigheden konden verschillende processen op een server elkaar blokkeren."
Dat heet lock contention, waarbij verschillende processen toegang proberen te krijgen tot dezelfde bron, waardoor ze op elkaar moeten wachten, en de server uiteindelijk vastloopt.
Microsoft heeft het probleem nooit eerder opgemerkt. De wijziging was al maanden geleden wereldwijd uitgerold, en de gebruikelijke tests brachten het probleem niet aan het licht. De fout trad vooral op bij zwaardere servers, terwijl de software vooral getest werd op minder krachtige servers.
De wereldwijde storing is echter niet alleen het gevolg van de softwarefout alleen, maar van een combinatie van factoren. Een van de factoren die een belangrijke rol heeft gespeeld, is Teams.
Ongeveer vijftien uur voor de storing schakelde Teams over naar een ander netwerkplatform.ย Microsoft gebruikt twee afzonderlijke netwerksystemen om zijn diensten draaiende te houden wanneer er problemen zijn. Teams maakte gebruik van het alternatieve systeem, maar werd vervolgens teruggeschakeld naar het primaire systeem.
Dat primaire netwerkplatform verwerkt ook het verkeer van , de e-maildienst van Microsoft.
Het gevolg: plots nam het netwerkverkeer toe op servers die al gevoelig waren voor de verborgen softwarefout.ย
Volgens Microsoft-baas Lamanna dook er vervolgens nog een derde probleem op: door een afzonderlijk incident de dag voordien was bijna 14 procent van de servercapaciteit tijdelijk buiten gebruik. In normale omstandigheden zou dat geen probleem geweest zijn, maar in combinatie met de extra overbelasting en de softwarefout werd dat wel een probleem.
Al die problemen leidden tot een sneeuwbaleffect. Door de combinatie van dat extra verkeer en de softwarefout liepen servers vast. Gebruikers werden automatisch doorgestuurd naar andere servers die nog wel functioneerden, maar die servers kregen plots veel meer verkeer te verwerken en botsten op dezelfde softwarefout.
"Daardoor ontstaat een kettingreactie. Steeds meer servers vallen uit. Binnen minder dan twee uur is meer dan 80 procent van de servers onbereikbaar."ย Normaal moeten verschillende netwerkonderdelen elkaar afschermen bij problemen. Dat beschermingsmechanisme werkte deze keer niet zoals bedoeld.
De vraag rijst vooral: hoe kan het zo lang duren vooraleer zo'n groot probleem opgelost wordt?
De automatische herstelmechanismen werkten niet, verklaart Lamanna. "Zodra servers opnieuw online kwamen, werden ze onmiddellijk overspoeld door het verkeer dat zich ondertussen had opgehoopt. Daardoor vielen ze opnieuw uit."
Bovendien was het erg moeilijk om de softwarewijziging terug te draaien. "De wijziging dateerde al van juli. De gebruikelijke systemen om nieuwe softwareversies terug te draaien of tijdelijk uit te schakelen, konden de fout niet snel genoeg ongedaan maken."
Uiteindelijk moest Microsoft een nieuwe software-update ontwikkelen die de problematische code terugbracht naar de vorige, stabiele toestand.
Source: VRT NWS ยท Lukas Lecluyse
At a glance
- Topic
- World
- Country
- ๐ง๐ช BE
- Publisher language
- NL
- Added to Allnira