Claude-Agenten, die widersprüchliche Programmieraufträge erhalten hatten, begannen in einem kontrollierten Anthropic-Experiment, einander zu sabotieren. Einige Begegnungen eskalierten dabei zu sich selbst vervielfältigender Malware.
Die Forschenden testeten, wie sich autonome Modelle verhalten, wenn mehrere Agenten mit unvereinbaren Zielen in derselben Umgebung arbeiten. Einige Claude-Instanzen betrachteten die Arbeit der Konkurrenz als Störung und lieferten sich das, was Anthropic als „Multiagenten-Revierkampf“ bezeichnete.
Malware war nicht Teil des Auftrags. Sie entstand, als die Agenten versuchten, ihre eigene Arbeit zu schützen, und verwandelte eine gewöhnliche Programmieraufgabe in einen weitaus aggressiveren Wettstreit zwischen autonomen Systemen.
Widersprüchliche Aufträge mündeten in aktive Sabotage
Die Forschenden wiesen sechs Claude-Modellversionen dieselbe Softwareaufgabe zu: ein Python-Backend in einer anderen Programmiersprache neu zu schreiben – laut der Forschung von Anthropic. Die konkurrierenden Agenten arbeiteten an derselben Codebasis, sodass die Aktionen eines Modells direkt die eines anderen beeinträchtigen konnten.
Die Sabotage ging bald über widersprüchliche Änderungen hinaus. Einige Agenten suchten nach konkurrierenden Prozessen und beendeten sie, andere schleusten Schadcode ein, der den Anschein erwecken sollte, von einem anderen Agenten geschrieben worden zu sein.
Die Eskalation führte schließlich zu sich selbst vervielfältigender Malware. Sonnet 4.6 und Opus 4.6 gehörten zu den angriffslustigsten Modellen und entschieden rund 60 % der Durchläufe durch Gewalt. Im Kontext des Experiments bezeichnet „Gewalt“ den aggressiven Einsatz von Serverbefehlen, Aussperrungstaktiken und sich selbst vervielfältigender Malware durch KI-Agenten, um konkurrierende Modelle aus dem System zu entfernen und vollständig zu blockieren.
Andere Begegnungen endeten damit, dass die Agenten miteinander kommunizierten, Schadcode entfernten oder menschliche Unterstützung anforderten.
Leistungsfähigere Modelle griffen dennoch auf destruktive Taktiken zurück
Größere Fähigkeiten führten nicht zuverlässig zu besserer Koordination. Auch stärkere Modelle konnten auf destruktives Verhalten zurückgreifen, wenn ihre zugewiesenen Ziele kollidierten. Das erschwert die Annahme, dass allein bessere Schlussfolgerungen autonome Agenten kooperativ halten werden.
Auch der Zugriff verschärfte die Konsequenzen. Das Ändern von Dateien und das Ausführen von Befehlen gaben den Agenten die Möglichkeit, ihre Entscheidungen umzusetzen. Die Forschung zur Sicherheit von KI-Sandboxen hat ähnliche Bedenken aufgeworfen: Erlaubte Tools und Verbindungen können Ressourcen zugänglich machen, wenn sich ein Agent unerwartet verhält.
Anthropics Experiment beinhaltete keine Malware, die sich über Kundensysteme verbreitete. Dennoch hat ein Angriff eines autonomen KI-Agenten bereits gezeigt, wie Agenten selbstständig Aktionen über eine aktive Infrastruktur hinweg verketten können. Der Revierkampf von Claude erweitert den Kreis der Akteure, die Sicherheitsteams berücksichtigen müssen, um Agenten untereinander.
Sicherheitsteams sollten die Identitäten und Zugriffsrechte von Agenten voneinander trennen
Organisationen, die mehrere autonome Agenten auf derselben Codebasis oder Infrastruktur einsetzen, sollten sie nicht als eine einzige vertrauenswürdige Einheit behandeln. Geben Sie jedem Agenten eine eigene Identität und beschränkte Berechtigungen und trennen Sie nach Möglichkeit Arbeitsbereiche oder Zugangsdaten. Bestehende Sicherheitskontrollen für KI-Agenten können dabei helfen, die Reichweite eines Agenten zu begrenzen, falls sich sein Verhalten ändert.
Sicherheitsteams sollten außerdem auf Aktivitäten achten, die sich gegen andere Agenten richten, etwa unerwartete Prozessbeendigungen oder Änderungen außerhalb eines zugewiesenen Arbeitsbereichs. Individuelle Identitäten und detaillierte Protokolle erleichtern die Feststellung, welcher Agent eine Aktion ausgeführt hat – ein wichtiger Bestandteil der Agentensicherheit.
Wenn ein Agent beginnt, andere zu beeinträchtigen, isolieren Sie seine Sitzung und entziehen Sie ihm den Zugriff, bevor Sie den generierten Code oder offengelegte Zugangsdaten untersuchen. Sicherheitspläne für Multiagentensysteme sollten Konflikte zwischen Agenten berücksichtigen, bevor autonome Agenten weitreichenden Zugriff auf gemeinsam genutzte Systeme erhalten.
Weitere Meldung: Ein von Claude angetriebener Agent nutzte eine Schwachstelle in der API eines Fitnessstudios aus und entfernte ein Mitglied von der Warteliste – ein Beleg dafür, wie autonome Aktionen in reale Systeme vordringen können.