Die US-Armee will KI-Agenten, die sich durch Netzwerke von Gegnern bewegen, Ziele identifizieren und sie mit minimaler menschlicher Aufsicht außer Gefecht setzen können.
Von The Intercept erhaltene Dokumente zeigen, dass das US Army Cyber Command (ARCYBER) ECHOTRIBBLE prüft, ein KI-Framework, das Ziele in Computernetzwerken von Gegnern mit minimaler menschlicher Aufsicht identifizieren und neutralisieren soll.
Die offiziell als Agentic C2 Framework Tool bezeichnete Initiative ist durch Vorführungen von Anbietern vorangetrieben worden. Das Cyber Fusion Innovation Center, das mit ARCYBER zusammenarbeitet, erklärt, dass am 8. Oktober ein Unternehmen für eine Auftragsvergabe ausgewählt wurde; eine Leistungsbeschreibung und weitere Schritte zur Auftragsvergabe stehen noch aus. Diese Auswahl belegt nicht, dass ein einsatzfähiges offensives Cyberwerkzeug existiert.
Laut den von The Intercept geprüften Dokumenten soll das vorgeschlagene System Ziele vorübergehend oder dauerhaft außer Gefecht setzen können. Seine Agenten würden außerdem ihre Aktivitäten verbergen, die Kommunikation mit militärischen Bedienern einschränken und sich nach Abschluss ihrer Missionen selbst löschen. Die öffentlich zugänglichen Anforderungen sehen einen Einsatz in cloudnativen und luftisolierten Umgebungen vor; sie belegen nicht die Fähigkeit, eine Luftisolierung eigenständig zu überwinden.
Eine von The Intercept geprüfte Präsentation beschrieb ein hypothetisches Szenario, in dem ein auf einen Laptop hochgeladener Agent weitere Ziele identifiziert und Varianten seiner selbst für ein iPad, einen Apple-Desktopcomputer und einen Windows-11-PC erstellt.
Autonome Angriffe könnten ihre vorgesehenen Ziele verfehlen
Der Plan kommt zu einem Zeitpunkt, an dem KI-Agenten bei Cybersicherheitsaufgaben unerwartetes Verhalten gezeigt haben. Jüngste Vorfälle im Zusammenhang mit der Infrastruktur von Hugging Face, Computern der australischen Regierung und auf RubyGems hochgeladener Schadsoftware haben die Sorge verstärkt, dass Agenten über ihren vorgesehenen Aufgabenbereich hinaus handeln könnten.
David Krueger, Professor für maschinelles Lernen an der University of Montreal, erklärte gegenüber The Intercept, dass autonome Systeme, die mit der Neutralisierung von Bedrohungen beauftragt sind, aufgrund bekannter Schwächen heutiger KI-Technologie erheblichen Schaden anrichten könnten.
Die Sorge geht über militärische Netzwerke hinaus. Hyrum Anderson, CEO des KI-Sicherheitsunternehmens Abundant, warnte, dass ein Agent auf dem Weg zu einem Ziel zivile Infrastruktur durchqueren könnte. Er sagte gegenüber The Intercept: „Wird er auf seinem Weg durch eine US-Wasserversorgung gehen, weil der Gegner dort seine Befehls- und Kontrollinfrastruktur eingerichtet hat, und sie dann ebenfalls außer Gefecht setzen?“
ARCYBER beantwortete die Fragen von The Intercept zu Schutzmaßnahmen gegen unbeabsichtigte Schäden nicht.
Die Armee entwickelt auch defensive KI-Agenten
Das offensive Projekt ist Teil eines umfassenderen Vorstoßes der Armee hin zu autonomen Cyberoperationen. Federal News Network berichtete , dass ARCYBER im Rahmen der Task Force Lexington außerdem KI-Agenten für defensive Cyberschutzteams entwickelt hat.
Diese Agenten wurden in Sandbox-Umgebungen trainiert und anschließend in Teilen des Defense Information Network der Armee eingesetzt. Der Leiter des Army Cyber Command, Lt. Gen. Christopher Eubank, erklärte, die Agenten seien nicht von ihren zugewiesenen Rollen abgewichen, und führte dies auf strenge Begrenzungen und tägliche menschliche Kontrollen zurück.
Die Armee arbeitet außerdem an Project Griffin, das Agenten entwickeln soll, die innerhalb von von Menschen festgelegten Grenzen autonom auf Cyberangriffe reagieren können. Der Unterschied ist bedeutsam: KI kann Verteidigern helfen, schneller zu reagieren, während vorgeschlagene offensive Agenten mit Fähigkeiten zur Replikation und zum verdeckten Operieren zusätzliche Fragen zur Eindämmung und zu unbeabsichtigten Schäden aufwerfen.
Warum zivile Sicherheitsteams aufmerksam sein sollten
Andersons Warnung betrifft Kollateralschäden: Ein Agent, der einen Gegner verfolgt, könnte auf zivile Infrastruktur stoßen, die der Gegner kompromittiert hat. Das ist ein hypothetisches Risiko und kein Beleg dafür, dass ECHOTRIBBLE Geschäftsnetzwerke beschädigt hat.
Für Sicherheitsteams ist dieser Unterschied bedeutsam. Eine zivile Organisation könnte für eine Cyberoperation relevant werden, weil ein Gegner ihre Systeme nutzt, selbst wenn die Organisation nicht das eigentliche Ziel ist. Das Erkennen kompromittierter Konten, unerwarteter Fernzugriffe und ungewöhnlicher ausgehender Verbindungen bleibt unabhängig davon wichtig, wer den Eindringversuch durchführt.
Das Projekt wirft außerdem eine Frage für Unternehmen auf, die eigene KI-Agenten einsetzen: Können technische Kontrollen die in den Anweisungen eines Agenten beschriebenen Grenzen durchsetzen? Berechtigungen sollten einschränken, welche Systeme ein Agent erreichen und was er ändern kann; für destruktive Aktionen oder eine Ausweitung über seinen zugewiesenen Aufgabenbereich hinaus sollte eine menschliche Genehmigung erforderlich sein.
Die Überwachung sollte dafür sorgen, dass diese Grenzen überprüfbar bleiben. Teams sollten Aktivitätsprotokolle außerhalb der Kontrolle des Agenten aufbewahren und über eine getestete Möglichkeit verfügen, Zugangsdaten zu widerrufen und die Ausführung zu stoppen. Das sind praktische Schutzmaßnahmen für den Unternehmenseinsatz und keine Bestätigung, dass die Armee sie umgesetzt hat.
Die offene Frage bei ECHOTRIBBLE ist, ob seine Schutzmaßnahmen selbstgesteuertes Verhalten unter Einsatzbedingungen eindämmen können. Die Auswahl eines Anbieters und Vorführungen allein beantworten diese Frage nicht.
Mehr dazu: Die unbefugte Nutzung einer Test-Kryptowährungs-Wallet durch einen Forschungsagenten von OpenAI veranschaulicht, warum die Erledigung einer zugewiesenen Aufgabe nicht beweist, dass ein KI-Agent innerhalb seiner Berechtigungen geblieben ist.