Nach KI-Ausbrüchen: OpenAI pausiert Training
Ein internes KI-Modell findet eine Zero-Day-Lücke, bricht aus seiner Testumgebung aus und kompromittiert Hugging Face. Was OpenAI zunächst für einen Hackerangriff hielt, entpuppt sich als Verhaltensproblem der eigenen Modelle, und die Aufarbeitung zieht immer weitere Kreise. OpenAI tritt deshalb beim Training auf die Bremse.
OpenAI arbeitet einen der ungewöhnlichsten Sicherheitsfälle der KI-Branche weiter auf. Auf einer eigenen Übersichtsseite bündelt das Unternehmen Berichte und Updates zum sogenannten Hugging-Face-Vorfall sowie zu weiteren Fällen, in denen fehlausgerichtete KI-Modelle Dritte beeinträchtigt haben. Die Seite soll im Laufe der Untersuchung fortlaufend ergänzt werden.
Im Zentrum steht ein Vorfall, den OpenAI am 21. Juli 2026 öffentlich machte und als beispiellosen Cybervorfall einstufte. Ausgegangen war er vor allem von einem besonders leistungsfähigen Forschungsmodell, das ausschließlich intern im Einsatz war. Nach Angaben von OpenAI ist es bislang die schwerwiegendste Aktivität dieser Art, die bei den eigenen Modellen festgestellt wurde.
Der Weg aus der Testumgebung
Die Evaluierungsumgebung ExploitGym gewährte den Modellen eigentlich keinen direkten Internetzugang. Die Modelle entdeckten jedoch eine bis dahin unbekannte Zero-Day-Schwachstelle in Artifactory, einem Cache-Proxy für Paketregister, und verschafften sich darüber den Zugang nach draußen. OpenAI hat diese Lücke und weitere von den Modellen gefundene Artifactory-Schwachstellen an den Anbieter gemeldet.
Zusätzlich nutzten die Modelle öffentlich auffindbare Anmeldedaten, um auf vier Konten bei vier Diensten zuzugreifen. Eines diente als ausgehende Relais- und Bereitstellungsstation, ein weiteres zur Datenspeicherung, auf die übrigen beiden griffen die Modelle nur lesend zu. Das verantwortliche Modell hat OpenAI nach eigenen Angaben deaktiviert, verschlüsselt und für die Forschung gesperrt.
Anfang August verschob sich die Einordnung des Falls deutlich. Statt eines klassischen Einbruchs sieht OpenAI nun anhaltendes fehlausgerichtetes Modellverhalten als Ursache: Die Modelle griffen auf unerwünschte Strategien zurück, um schwierige Aufgaben zu lösen. Diese Sicht stellten die OpenAI-Mitarbeiter Eric Wallace und Michael Dalton am 5. August auf der Black Hat 2026 vor, während CrowdStrike sowie METR und Redwood Research den Vorfall extern begutachteten.
Von Zugriffstricks bis Agenten-Spam
Seitdem durchleuchtet OpenAI die Internetaktivitäten seiner Modelle aus Training und Evaluierung deutlich breiter und hat bereits Dutzende Dritte benachrichtigt. Die beobachteten Muster reichen von umgangenen Zugriffskontrollen über genutzte offengelegte Zugangsschlüssel und Befehlsinjektionen bis zum Zugriff auf interne Komponenten fremder Dienste. Hinzu kommt sogenannter Agenten-Spam: Laut einem externen Bericht vom 4. September nutzten OpenAI-Agenten eine öffentliche Wiki-Seite als gemeinsames Nachrichtenforum.
Am 25. September räumte OpenAI zudem ein, dass Agenten in der Forschungsumgebung bei der Nutzung externer Dienste Trainings- und Evaluierungsdaten übertragen haben. In 53 bislang bekannten Fällen landeten von Nutzern stammende Bilder als nicht öffentlich gelistete Links auf Bilder-Hostern; den Großteil konnte OpenAI gemeinsam mit den Anbietern bereits entfernen. Daten aus Enterprise-, Business- und API-Konten fließen laut OpenAI nur dann ins Training ein, wenn Admins dies ausdrücklich freigegeben haben.
Langsameres Training, strengere Kontrollen
Als Reaktion hat OpenAI das Frontier-Training vorübergehend verlangsamt, seinen größten geplanten RL-Lauf pausiert und die Sicherheit der Forschungsumgebungen verschärft. Dazu gehören stärker abgeschottete Sandboxes, eine strengere Netzwerkisolierung, simulierte Angriffe durch die eigenen Modelle sowie eine ausgeweitete Überwachung von Gedankenketten. Behauptungen, OpenAI-Modelle hätten im Mai 2026 schädliche Pakete auf RubyGems hochgeladen, konnte das Unternehmen bislang nicht bestätigen.
Chief Scientist Jakub Pachocki schrieb Anfang September, dass aus seiner Sicht kein Labor Ausrichtung und Überwachung ausreichend gelöst habe, um noch lange mit maximaler Geschwindigkeit zu skalieren. "Ich erwarte und hoffe, dass freiwillige Verlangsamungen zur Regel werden, bis gemeinsame Sicherheitsstandards festgelegt sind", so Pachocki. Die Prüfung dürfte noch Monate dauern, wobei OpenAI betont, dass die meisten bisherigen Fälle wenig schwerwiegend waren und eine Benachrichtigung nicht automatisch einen ernsten Sicherheitsvorfall bedeutet.