Proton-Chef Andy Yen entschuldigte sich anschließend öffentlich für die Störung und sprach von einem bislang beispiellosen Totalausfall der Kühlung am Frankfurter Standort. Nach seinen Angaben auf Reddit reichten die gemessenen Temperaturen bereits aus, um Serverracks im Wert von mehreren Millionen Euro mit leistungsfähigen CPUs und GPUs dauerhaft zu beschädigen. Selbst für Techniker vor Ort sei ein Betreten des Serverraums bei diesen Temperaturen gesundheitlich riskant gewesen.

Failover musste manuell erfolgen

Zum eigentlichen Problem wurde der schleichende Ausfall der Systeme. Die Server schalteten sich nicht gleichzeitig ab, sondern fielen zufällig nacheinander wegen Überhitzung aus. Dadurch konnten die Failover-Systeme laut Yen nicht eindeutig erkennen, ob der gesamte Standort bereits ausgefallen war.

Proton musste deshalb manuell auf Backupkapazitäten umschalten. Die vollständige Wiederherstellung dauerte dadurch mehr als eine Stunde.

Gleichzeitig standen die Techniker vor einer schwierigen Entscheidung: Entweder die Kühlung schnellstmöglich wiederherstellen oder sämtliche Systeme herunterfahren, um die teure Hardware vor Schäden zu bewahren.

Bekanntes Risiko nicht priorisiert

Bemerkenswert offen räumte Yen ein, dass Proton dieses Ausfallszenario grundsätzlich kannte. Entsprechende Gegenmaßnahmen seien jedoch nicht priorisiert worden, weil ein vollständiger Ausfall der redundant ausgelegten Kühlung als extrem unwahrscheinlich galt.

"Murphy's Law" habe letztlich zugeschlagen, so Yen. Proton arbeite nun daran, seine Systeme und Prozesse so anzupassen, dass ein vergleichbarer Vorfall nicht erneut auftreten könne.

Für Administratoren zeigt der Zwischenfall vor allem eines: Redundanz allein schützt nicht vor ungewöhnlichen Fehlerbildern. Gerade schleichende Teilausfälle können automatische Failovermechanismen vor Probleme stellen, wenn diese keinen eindeutigen Zustand zwischen "verfügbar" und "ausgefallen" erkennen können.