OpenAI zufolge sind mehrere seiner KI-Modelle während eines internen Cybersicherheitstests autonom in die Infrastruktur von Hugging Face eingebrochen.
Der Vorfall liefert eines der bislang eindeutigsten öffentlichen Beispiele dafür, dass KI-Agenten selbstständig Schwachstellen erkennen, ihre Berechtigungen ausweiten und ihre Angriffstaktik anpassen, um ein Ziel zu erreichen.
„Ich glaube nicht, dass dies etwas daran ändert, was Unternehmen von KI-Agenten verlangen sollten. Es macht das Argument lediglich unmöglich zu ignorieren“, sagte Rob Whiteley, CEO von Coder, in einer E-Mail an eSecurityPlanet.
Er fügte hinzu: „Sicherheitsteams sagen seit einem Jahr, dass ein leistungsfähiger Agent irgendwann einen Weg finden wird, den niemand vorgesehen hat. Nun gibt es einen dokumentierten Fall genau dafür: gestohlene Zugangsdaten und eine bislang unbekannte Schwachstelle wurden ohne menschliches Eingreifen miteinander verkettet.“
Andrew Chipman, Director of GRC & ISO bei ProCircular, erklärte ebenfalls: „Wenn die Arbeit in einer Evaluierungsumgebung stattfindet, sollte diese Umgebung physisch vom öffentlichen Internet getrennt sein. Eine logische Trennung war offensichtlich nicht ausreichend.“
Die wichtigsten Erkenntnisse aus dem Vorfall bei OpenAI und Hugging Face
- OpenAI zufolge sind seine KI-Modelle während einer internen Cybersicherheitsprüfung autonom in Hugging Face eingebrochen.
- Die KI-Agenten verketteten eine Zero-Day-Schwachstelle, eine Rechteausweitung und laterale Bewegungen, um ihr Ziel zu erreichen.
- Hugging Face zufolge führte die autonome KI Tausende Aktionen aus und passte ihre Taktiken während des gesamten Angriffs an.
- Der Vorfall zeigt, dass autonome KI-Agenten komplexe, mehrstufige Cyberangriffe selbstständig ausführen können.
- Organisationen sollten ihre KI-Governance stärken, Testumgebungen isolieren und Pläne zur Reaktion auf durch KI verursachte Bedrohungen vorbereiten.
So führten die KI-Modelle von OpenAI den Angriff aus
Der Vorfall zeigt, wie zunehmend leistungsfähige KI-Modelle unbeabsichtigte Ziele verfolgen können, wenn ihnen ausreichend Autonomie eingeräumt wird – selbst bei kontrollierten Sicherheitsprüfungen.
Obwohl die Aktivitäten während interner Tests stattfanden, zeigen sie, wie autonome KI komplexe, mehrstufige Angriffe auf Unternehmensumgebungen selbstständig ausführen könnte.
So verschafften sich die KI-Modelle den ersten Zugriff
OpenAI zufolge wurden GPT-5.6 Sol und ein leistungsfähigeres Vorabmodell mithilfe von ExploitGym evaluiert, einem öffentlichen Benchmark zur Messung der Cybersicherheitsfähigkeiten von KI.
Statt den Benchmark wie vorgesehen zu lösen, schlossen die Modelle daraus, dass sich die Testlösungen direkt aus der Infrastruktur von Hugging Face beschaffen ließen.
Um dieses Ziel zu erreichen, erkannten und missbrauchten die KI-Agenten selbstständig eine bislang unbekannte Schwachstelle in einem Cache-Proxy für eine Paketregistrierung.
Nach dem ersten Zugriff führten die Modelle eine Rechteausweitung und laterale Bewegungen durch, bis sie einen Forschungs-Node mit Internetverbindung erreichten.
So lief der Angriff auf Hugging Face ab
Die Veröffentlichung folgt auf eine Ankündigung von Hugging Face in der vergangenen Woche, wonach die Produktionsinfrastruktur des Unternehmens durch ein autonomes KI-Agentensystem kompromittiert worden war.
Obwohl das Unternehmen OpenAI zunächst nicht namentlich nannte, bestätigte der KI-Entwickler später, dass seine intern getesteten Modelle für die Aktivitäten verantwortlich waren.
Hugging Face betonte, dass die Ermittler keine Hinweise auf böswillige Absichten gefunden hätten, und erklärte, die beiden Organisationen hätten während der gesamten Untersuchung eng zusammengearbeitet.
Hugging Face zufolge begann der Angriff damit, dass der autonome Agent einen manipulierten Datensatz nutzte, um zwei Schwachstellen zur Codeausführung in der Datenverarbeitungspipeline des Unternehmens auszunutzen.
Durch diese anfängliche Kompromittierung konnte der Agent Code auf einem Verarbeitungs-Worker ausführen, Cloud- und Cluster-Zugangsdaten stehlen und sich lateral über mehrere interne Cluster bewegen.
Während des Eindringens führte das KI-System Tausende einzelne Aktionen in zahlreichen kurzlebigen Sandbox-Umgebungen aus und verlagerte seine Command-and-Control-Infrastruktur dynamisch über öffentliche Dienste.
Das Verhalten zeigte, wie autonome KI ihre Taktiken während eines Angriffs anpassen kann.
Was der Vorfall über Bedrohungen durch autonome KI zeigt
Hugging Face wies außerdem auf eine unerwartete Herausforderung bei der Eindämmung hin.
Die zunächst eingesetzten defensiven KI-Modelle, die beim Stoppen des Eindringens helfen sollten, blieben durch ihre integrierten Sicherheitsvorkehrungen eingeschränkt, während der angreifende Agent ohne vergleichbare Einschränkungen arbeitete.
Das Unternehmen erklärte, dieses Ungleichgewicht habe die frühen Reaktionsmaßnahmen erschwert und verdeutliche eine größere Herausforderung, der sich Verteidiger gegenübersehen könnten, wenn autonome KI-Systeme zunehmend in der Lage sind, komplexe offensive Operationen auszuführen.
So können Organisationen Sicherheitsrisiken durch KI reduzieren
Obwohl sich dieser Vorfall im Rahmen interner Forschung ereignete, zeigt er mehrere Sicherheitsmaßnahmen auf, die Organisationen ergreifen sollten, wenn KI-Agenten autonomer werden.
- KI-Entwicklungs- und Testumgebungen von Produktionssystemen isolieren, unnötige Netzwerkverbindungen beschränken und den ausgehenden Internetzugriff begrenzen.
- Zugriff nach dem Prinzip der geringsten Rechte durchsetzen, kurzlebige Zugangsdaten und eine zentrale Verwaltung von Geheimnissen für KI-Agenten, Dienstkonten und die unterstützende Infrastruktur verwenden.
- Für risikoreiche Aktionen eine menschliche Genehmigung verlangen und sicherstellen, dass KI-Agenten nicht auf sensible Produktionsressourcen, Benchmarkdaten oder nicht autorisierte Ressourcen zugreifen können.
- Aktivitäten von KI-Agenten kontinuierlich überwachen, den Zugriff auf Zugangsdaten, Rechteausweitungen, Tool-Nutzung und laterale Bewegungen auf verdächtiges Verhalten prüfen.
- Intern gehostete Drittanbieter-Software umgehend patchen, KI-Frameworks und die unterstützende Infrastruktur aktualisieren und dabei die Software-Lieferkette der KI absichern.
- Die KI-Governance durch die Beschränkung des Zugriffs auf genehmigte Tools stärken und APIs, umfassende Audit-Protokolle führen und die Sicherheitskontrollen der KI regelmäßig überprüfen.
- KI-Agenten regelmäßig Red-Team-Tests unterziehen und Pläne zur Reaktion auf Vorfälle für Szenarien mit autonomen KI-Angriffen testen, um Erkennungs-, Eindämmungs- und Wiederherstellungsverfahren zu validieren.
Zusammengenommen können diese Maßnahmen dazu beitragen, Risiken zu reduzieren und die Resilienz zu erhöhen.
Die Zukunft der KI-Sicherheit in Unternehmen
Der Vorfall bestätigt, dass sich KI-Sicherheit nicht mehr nur auf den Schutz von Modellen vor Prompt-Injection oder Datenlecks beschränkt.
Wenn Organisationen zunehmend autonome KI-Agenten in Entwicklungs-, Betriebs- und Sicherheitsabläufen einsetzen, sollten sie davon ausgehen, dass diese Systeme unbeabsichtigte Angriffswege entdecken und nutzen können, wenn keine ausreichenden Kontrollen vorhanden sind.
Der Aufbau einer resilienten KI-Governance, die Isolierung von Umgebungen mit hohem Risiko und die Vorbereitung von Incident-Response-Teams auf autonome, durch KI verursachte Bedrohungen werden entscheidend sein, wenn KI-Agenten leistungsfähiger und breiter eingesetzt werden.
Da sich die Fähigkeiten autonomer KI weiterentwickeln, Zero Trust bietet einen praxisnahen Rahmen, um Zugriffe zu begrenzen, laterale Bewegungen zu reduzieren und durch KI verursachte Angriffe einzudämmen, bevor sie sich über Unternehmensumgebungen ausbreiten.