Storing zondag 19-12-21

Zondag 19 december 2021 vond er halverwege de middag een storing plaats op ons serverplatform. Dit zat in de linux networking.service die faalde en niet meer online kwam. Vanwege uitgebreide monitoring die alarm sloeg konden we binnen enkele minuten ingrijpen, maar het probleem was hardnekkig en kon ook met hulp van networking specialisten niet zomaar opgelost worden.

Opnieuw opbouwen platform

Na ongeveer een uur downtime was de oplossing nog niet binnen handbereik ondanks uitgebreide troubleshooting. We hadden vervolgens de keuze: het platform nieuw opbouwen waarbij we profiteren van virtualisatie om dit binnen een dag te doen, of blijven troubleshooten met onbekende uitkomst. We besloten het platform opnieuw op te bouwen en vervolgens alle data te gaan migreren. Alle domeinnamen in ons beheer kregen direct een TTL van 1 minuut om snel te kunnen overschakelen naar het nieuwe platform als dit klaar was.

Omstreeks 23:30u hadden we de basis van het nieuwe platform opgetuigd en omstreeks 00:00u was de meeste data gemigreerd. Omstreeks 03:00u waren vrijwel alle websites weer online.

Zelf uw domeinnaam in beheer?

Als wij uw domeinnaam niet in beheer hebben, wijzig dan via uw eigen aanbieder z.s.m. het A record aan naar 93.119.1.40 en het AAAA record naar 2a01:7c8:bb0a:101:5054:ff:fe0f:b1f1. Daarna werken uw website en mail weer. Klanten waarvan we dit weten worden ook per e-mail benaderd met dit verzoek.

Het spijt ons!

We hebben tot op heden een erg goed trackrecord als het gaat om downtime, dus we balen er enorm van dat uw website en mail deze zondag een aantal uren offline geweest zijn. We hopen op uw begrip. Weet dat we alles op alles gezet hebben om snel weer up-and-running te zijn. Heeft u toch nog vragen? Stel ze!

P.S. heeft u nog steeds problemen met uw website of mail? De firewall is opnieuw ingesteld dus alle voorheen gewhiteliste IP's zijn verwijderd. Het kan voorkomen dat uw netwerk, bijvoorbeeld als een device automatisch steeds verkeerd inlogt, geblokkeerd wordt. Stuur ons in dat geval een mail met uw IP adres.