Två olika fel bakom it-kaos i Stockholmsvården efter nyår

Detta inlägg post publicerades ursprungligen på denna sida this site ;





På Karolinska Universitetssjukhuset i Huddinge började det nya året med stora it-störningar. Det lokala nätverket kraschade den 2 januari och efter att man fått upp det på kvällen så gick det ner igen dagen efter. Bland annat innebar haveriet att ambulanser fick omdirigerades till andra sjukhus, vissa operationer fick flyttas och röntgenbilder inte gick att se.

Sjukhuset tvingades gå upp i stabsläge, det vill säga ägna all sin kraft och alla sina resurser åt att lösa it-problemen – först den sjunde januari kunde stabsläget upphöra.

Nu i veckan blev incidentrapporten klar och det visade sig handla om två olika hårdvarufel. Den 2 januari var det ett fel i en distributionsswitch till följd av en mjukvarurelase och ett hårdvarufel i en nätverksrelaterad server som gjorde att nätverket gick ner. Det felet åtgärdades under dagen.

Ett nytt fel

Men dagen efter, den 3 januari, inträffade ett annat fel som visade sig vara ett minnesläckage i brandväggarna som var kopplad till en bugg i mjukvarurelase. Det ledde till att minnet i brandväggarna fylldes upp och nådde sitt kapacitetstak vilket gjorde att de sedan inte klarade att hantera trafiken.

– Den 3 januari fick vi göra en större felsökning eftersom vi trodde att vi löst nätverksstörningen dagen innan, säger Stefan Schildt, it-direktör i Region Stockholm.

– Nätverket låg inte nere så jättelänge efter det men eftersom vi inte var säkra på felorsaken tog det några dagar innan vi vågade gå upp i full drift utan i stället valde att fortsätta felsökningsarbetet till den 7 januari. Under den tiden utökade vi övervakningen av nätverket med hjälp av leverantörerna.

Även om felen är kopplade till mjukvarureleaser så var det inget som skedde under julhelgen – enligt Stefan Schildt är det alltid ändringsstopp under jul och nyår.

Känslig tidpunkt

Han konstaterar också att man inte vet om det andra problemet utlöstes av det första eller om de var oberoende av varandra. Däremot inträffade it-störningarna vid en ovanligt känslig tidpunkt vilket gjorde att påverkan blev extra stor.

– Det var väldigt olyckligt att det skedde just till trettonhelgen då vården är som mest ansträngd – människor kommer hem efter jul och nyår samtidigt som det fortfarande är semestrar i vården, säger han.

– I efterhand kan vi konstatera att det inte var ett ovanligt komplicerat fel men det tar tid att säkra.

Om ni ser i backspegeln – borde ni ha uppgraderat mjukvara i god tid före julhelgerna för att se till att det var rätt version på allting?

– Vi får se vad vår genomgång av händelsen visar. Jag vet inte exakt hur driften resonerat kring uppgraderingar Men det ingår självklart i vår rutin att vidta löpande åtgärder och vidta preventiva åtgärder för att inte hamna i det här läget.

Läs också: 
VGR byter ut 20 000 diskar efter mystiska krascherna – Atea tar smällen
1177-läckan och kraschade hårddiskar – stökigt år för vården

Computer Sweden RSS

http://feeds.idg.se/~r/ComputerSweden20SenasteNyheter/~3/Jb7nHi4m81M/it-kaos-stockholmsvarden