Nettverksproblemer

Incident Report for SYSE

Postmortem

Oppsummering

I perioden 07.10.2021 22:48 - 07.10.2021 01:54 var de fleste av våre tjenester utilgjengelige grunnet hardwarefeil på firewall og påfølgende routingproblematikk.

Hendelsesforløp

Vi mistet kontakt med mesteparten av vår infrastruktur da vår firewall feilet kl 22:48. Standby firewall ble satt i drift og teknikere rykket samtidig ut til datasenteret. Andre teknikere satt i gang feilsøk og kundeoppfølging. Etter failover til ny firewall opplevde vi fortsatt problemer med nettverket som etter tidkrevende feilsøking viste seg å skyldes feil i en router hos ISP. Dette problemet ble løst kl 01:54 og trafikken fløt som normalt etter dette.

Konklusjon

Firewall med hardware-feil er tatt ut av produksjon og ny standby er klargjort. Vi følger opp flere tiltak relatert til routing-problematikken i samråd med vår leverandør.

Posted Oct 26, 2021 - 14:53 CEST

Resolved

Etter feilrettingen ca kl 01:54 har vi ikke sett feilsymptomer. Vi vil undersøke hvordan feilen oppstod og hvilke tiltak vi kan iverksette for å unngå at noe liknende skal være mulig i fremtiden.

Posted Oct 08, 2021 - 09:06 CEST

Update

Etter firewall failover oppstod et problem i en router hos vår ISP. Feilen er løst etter å ha routet trafikken over en alternativ router og alle tjenester er nå aktive og tilgjengelige.

Posted Oct 08, 2021 - 02:24 CEST

Monitoring

A fix has been implemented and we are monitoring the results.

Posted Oct 08, 2021 - 02:18 CEST

Identified

Etter en kritisk feil på vår firewall har vi fått opp standby, men opplever problemer med routing av trafikk. Flere teknikere er på saken og i dialog med ISP.

Posted Oct 08, 2021 - 00:47 CEST

Investigating

Vi opplever for øyeblikket nettverksproblemer og har tilsynelatende mistet kontakt med samtlige tjenester. Feilsøk er iverksatt.

Posted Oct 07, 2021 - 23:06 CEST

This incident affected: E-mail (SMTP, IMAP, POP3, WebMail), Hosted Exchange (Hosted Exchange Service, WebMail / Outlook Web Access), Web Hosting (Linux Web Hosting, Windows Web Hosting, MySQL, MSSQL), Domains (DNS Servers, Web Forwarding / Cloak), and SYSE Home Page, Control Panel, VPS Containers.