Netzwerkwartung am Standort NTT - FRA1 Montag 7th Oktober 2024 12:00:00

Liebe Kunden,

wir möchten euch darüber informieren, dass aufgrund eines kritischen Fehlers am Netzwerk-Standort Frankfurt eine dringende und kurzfristige Wartung erforderlich war. Diese Wartung hat bereits begonnen und dient dazu, die Stabilität und Verfügbarkeit der betroffenen Server wiederherzustellen.

Wichtige Details:

Beginn der Wartung: 07.10.2024 12:00 Uhr Voraussichtliche Dauer: Derzeit unbekannt. Unser Team arbeitet daran, die Ausfallzeit so gering wie möglich zu halten.

Wir bedauern die Unannehmlichkeiten, die diese ungeplante Wartung verursacht, und versichern euch, dass unser Team mit Hochdruck an der Lösung des Problems arbeitet. Selbstverständlich halten wir euch über den Fortschritt auf dem Laufenden.

Solltet ihr Fragen haben oder Unterstützung benötigen, steht unser Support-Team jederzeit zur Verfügung.

Vielen Dank für euer Verständnis und eure Geduld.

Sehr geehrte Damen und Herren,

Alle Systeme sind nun wieder ordnungsgemäß online!

Zusammenfassung des Vorfalls (Kurzfassung): Am 07.10.2024 gegen 11 Uhr wurde unser Netzwerk am Standort Frankfurt Opfer eines massiven DDoS-Angriffs, der erhebliche Auswirkungen auf die Stabilität unserer Cluster-Infrastruktur hatte. Der Angriff richtete sich gegen unsere 10-Gigabit-Links, was dazu führte, dass der Angriff in die Infrastruktur des Clusters eindrang und die Cluster-Nodes destabilisiert wurden. Die Nodes verloren dadurch die Verbindung untereinander, was zu einer kritischen Störung der Netzwerkkommunikation und letztlich zu Ausfällen führte.

Maßnahmen (Kurzfassung): In Folge der Analyse wurden mehrere Maßnahmen eingeleitet, um die Wiederherstellung der Stabilität zu gewährleisten und zukünftige Vorfälle dieser Art zu verhindern:

● Einführung eines redundanten Corosync-Netzwerks: Die primäre Maßnahme bestand darin, die Cluster-Nodes mit einem zweiten Netzwerkpfad für Corosync auszustatten. Dies wird sicherstellen, dass die Nodes bei einem Ausfall eines Pfades weiterhin über den zweiten Pfad kommunizieren können. Dadurch wird die Widerstandsfähigkeit des Clusters gegen Netzwerkausfälle oder Überlastungen erheblich erhöht.

● VLAN-Konfiguration: Es wurde festgestellt, dass das redundante Corosync-Netzwerk erst dann vollständig eingerichtet und getestet werden kann, wenn alle notwendigen VLANs konfiguriert sind, um die logische Trennung und Routing der Netzwerkpfade zu gewährleisten. Die fehlende VLAN-Konfiguration war eine technische Hürde, die kurzfristig überwunden werden musste.

Alle Systeme sind somit seit 12 Uhr wieder funktionsfähig. Wir entschuldigen uns für die Unannehmlichkeiten!

Posted vor 1 Monat by Damian.Gerlach

Wir unterbrechen die Wartung und fahren morgen damit fort. Es kann noch zu Unterbrechungen kommen. Wir werden hier weiter informieren!

Posted vor 1 Monat by Damian.Gerlach