Hugging Face legte offen, dass Angreifer mithilfe eines autonomen KI-Agenten-Angriffs in die Produktionsinfrastruktur des Unternehmens eingedrungen waren.
Die Angreifer verschafften sich durch das Ausnutzen von Schwachstellen in der Datenverarbeitungspipeline des Unternehmens Zugriff auf interne Datensätze und Zugangsdaten.
Die Untersuchung dauert zwar noch an, doch nach Angaben des Unternehmens gibt es keine Hinweise darauf, dass öffentlich zugängliche Modelle, Datensätze oder Spaces verändert wurden; außerdem wurde die Software-Lieferkette als sauber bestätigt.
Wichtigste Erkenntnisse zum Angriff durch den KI-Agenten von Hugging Face
- Hugging Face hat einen autonomen Angriff durch einen KI-Agenten offengelegt, bei dem die Produktionsinfrastruktur des Unternehmens durch das Ausnutzen von Schwachstellen in seiner Datenverarbeitungspipeline kompromittiert wurde.
- Die Angreifer nutzten einen bösartigen Datensatz, um Code auszuführen, Cloud-Zugangsdaten zu stehlen und sich lateral über mehrere interne Cluster zu bewegen.
- Nach Angaben von Hugging Face setzte die Kampagne auf autonome KI-Agenten, die Tausende Aktionen in kurzlebigen Sandboxes ausführten und dabei eine selbst migrierende Command-and-Control-Infrastruktur nutzten.
- Das Unternehmen fand keine Hinweise darauf, dass öffentlich zugängliche Modelle, Datensätze oder Spaces verändert wurden, und erklärte, seine Software-Lieferkette sei weiterhin unangetastet.
- Der Vorfall verdeutlicht, wie wichtig es ist, KI-Entwicklungspipelines abzusichern, Zugangsdaten zu schützen und sich auf zunehmend automatisierte, KI-gesteuerte Angriffe vorzubereiten.
So lief der Angriff durch den autonomen KI-Agenten von Hugging Face ab
Hugging Face ist eine Open-Source-KI-Plattform, die von mehr als 50.000 Organisationen genutzt wird und über 45.000 Modelle hostet.
Nach Angaben des Unternehmens verschafften sich die Angreifer Zugriff auf die Produktionsinfrastruktur, indem sie die Datenverarbeitungspipeline der Plattform ins Visier nahmen.
Der Angriff begann, als ein bösartiger Datensatz zwei Schwachstellen zur Codeausführung ausnutzte: einen Template-Injection-Fehler in der Konfiguration eines Datensatzes und einen Loader für Remote-Code-Datensätze.
Zusammen ermöglichten die Schwachstellen den Angreifern, Code auf einem Worker für die Datenverarbeitung auszuführen und so einen ersten Zugang zur Umgebung zu erlangen.
So weitete sich der Angriff durch den autonomen KI-Agenten aus
Nachdem die Angreifer zunächst Zugriff erlangt hatten, stahlen sie Cloud- und Cluster-Zugangsdaten und bewegten sich lateral über mehrere interne Cluster.
Nach Angaben von Hugging Face wurde die Kampagne mithilfe eines Frameworks für autonome Agenten durchgeführt, das Tausende einzelner Aktionen in zahlreichen kurzlebigen Sandboxes ausführte und über öffentliche Dienste eine selbst migrierende Command-and-Control-Infrastruktur aufrechterhielt.
Das Unternehmen erklärte, diese Aktivitäten entsprächen dem Szenario eines „agentischen Angreifers“, das Sicherheitsforscher angesichts der fortschreitenden Entwicklung von KI-Fähigkeiten diskutiert haben.
Hugging Face konnte noch nicht feststellen, welches Large Language Model (LLM) die autonomen Agenten steuerte oder ob die Angreifer ein gehostetes Modell oder ein uneingeschränktes Open-Weight-Modell nutzten.
Reaktion von Hugging Face auf den Vorfall und Untersuchung
Das Unternehmen erklärte, die Untersuchung dauere an; außerdem werde geprüft, ob Daten von Partnern oder Kunden betroffen waren.
Bislang fand das Unternehmen keine Hinweise darauf, dass öffentlich zugängliche Modelle, Datensätze oder Spaces manipuliert wurden, und erklärte, seine Software-Lieferkette sei als sauber bestätigt worden.
Nach dem Vorfall schloss Hugging Face die anfälligen Wege zur Codeausführung, entfernte die Angreifer, baute die betroffene Infrastruktur neu auf und wechselte kompromittierte Zugangsdaten aus.
Das Unternehmen führte außerdem erweiterte Funktionen zur Erkennung bösartiger Aktivitäten ein, beauftragte externe Forensikexperten und meldete den Vorfall den Strafverfolgungsbehörden.
Über die technische Reaktion hinaus betonte Hugging Face eine umfassendere operative Lehre für die Verteidiger.
Das Unternehmen empfiehlt, ein internes KI-Modell bereitzuhalten, um Untersuchungen von Vorfällen zu unterstützen, ohne auf gehostete Dienste angewiesen zu sein oder vertrauliche forensische Daten offenzulegen.
So lässt sich das Risiko von Angriffen durch KI-Agenten reduzieren
Organisationen, die Plattformen für die KI-Entwicklung nutzen, sollten die Sicherheitskontrollen für Datenverarbeitungspipelines und das Management von Zugangsdaten überprüfen und sich zugleich auf zunehmend automatisierte Angriffstechniken vorbereiten.
- Patches für bekannte Schwachstellen bei der Codeausführung einspielen in KI-Entwicklungs- und Datenverarbeitungspipelines.
- Nicht vertrauenswürdige Datensätze vor ihrer Verarbeitung validieren und in einer Sandbox ausführen in KI-Workflows.
- Berechtigungen für Worker der Datenverarbeitung und Dienstkonten beschränken und nach Möglichkeit kurzlebige Zugangsdaten verwenden.
- Zugriffstoken und Zugangsdaten austauschen, wenn eine Offenlegung vermutet wird und die jüngsten Kontoaktivitäten auf unbefugten Zugriff überprüfen.
- Überwachen Sie KI-Umgebungen auf verdächtige Codeausführung, den Zugriff auf Zugangsdaten und laterale Bewegungen in Cloud- und Containerinfrastrukturen.
- Das Management von Geheimnissen stärken, indem Zugangsdaten sicher gespeichert werden und die für KI-Workloads verfügbaren langlebigen Token minimiert werden.
- Testen Sie Pläne zur Reaktion auf Vorfälle mithilfe von KI-gestützten Angriffssimulationen und validieren Sie Backup- und Wiederherstellungsverfahren.
Zusammen können diese Maßnahmen dazu beitragen, die Angriffsfläche von Organisationen zu verringern und zugleich ihre operative Widerstandsfähigkeit gegenüber sich weiterentwickelnden, KI-gestützten Bedrohungen zu verbessern.
Sicherheitslehren aus KI-Angriffen für Organisationen
Während Organisationen ihre Nutzung von KI-Plattformen weiter ausbauen, sollten Sicherheitsverantwortliche prüfen, ob bestehende Kontrollen KI-Entwicklungspipelines, Zugangsdaten und die unterstützende Infrastruktur ausreichend schützen.
Vorfälle wie dieser verdeutlichen, dass KI-Umgebungen mit denselben Governance-, Überwachungs- und Fähigkeiten zur Reaktion auf Vorfälle abgesichert werden müssen, die auch bei anderen kritischen Produktionssystemen zum Einsatz kommen.
Über die Stärkung der technischen Abwehr hinaus betrachten Organisationen auch die Governance-Rahmenwerke, die erforderlich sind, um KI-Risiken im gesamten Unternehmen zu steuern.