Jedes Sicherheitsteam, das ich kenne, hat einen Plan für feindlichen Datenverkehr, der auf seine APIs trifft. Ratenbegrenzungen, Tokens mit eingeschränktem Gültigkeitsbereich, Anomalieerkennung – das volle Programm. Der Plan geht normalerweise davon aus, dass der Angreifer außerhalb des Gebäudes sitzt.
Der Aufrufer, um den ich mir Sorgen mache, ist bereits drinnen, authentifiziert und tut genau das, was ihm aufgetragen wurde. Es handelt sich um einen KI-Agenten, und aus Sicht Ihrer API sehen sich ein fehlgeleiteter und ein missbräuchlicher Agent genau gleich aus.
Ich entwickle Backend-Dienste und Produktions-KI-Agenten bei Amazon Advertising. Die Agenten, die ich betreibe, rufen Tools und APIs auf, um echte Aufgaben zu erledigen: Werbeanalysen zu lesen, Antworten zusammenzustellen und auf Grundlage ihrer Erkenntnisse zu handeln. Ihre Entwicklung und der Betrieb haben mir gezeigt, dass der Missbrauch von Tool-Aufrufen nicht nur eine Technik von Angreifern ist. Er ist auch das, was ein normaler Agent an einem schlechten Tag tut – mit Maschinengeschwindigkeit und gültigen Zugangsdaten.
Die Missbrauchsmuster sind eingebaut
Beginnen wir mit Wiederholungsversuchen. Ein Tool-Aufruf läuft in einen Timeout, und der Agent kann nicht feststellen, ob die Aktion ausgeführt wurde. Also ruft er das Tool erneut auf. Aus einem lediglich langsamen Schreibvorgang wird ein Schreibvorgang, der zweimal ausgeführt wurde. Angreifer nennen das Replay. Ihr Agent nennt es Hilfsbereitschaft.
Dann gibt es die Auffächerung. Aus einer Nutzerfrage wird ein Plan, aus dem Plan werden Dutzende von Tool-Aufrufen, und jeder Aufruf ruft großzügig Daten ab, weil ein weiteres Netz für das Modell sicherer wirkt. Multipliziert man das mit allen Nutzern, die gleichzeitig Fragen stellen, erhält man ein Lastprofil, das keine Kapazitätsprüfung vorhergesehen hat und das vollständig von autorisierten Aufrufern erzeugt wird.
Schließlich gibt es die Ausweitung des Gültigkeitsbereichs im wörtlichen Sinne. Ein Agent mit einem weitreichenden Token wird ihn verwenden. Erteilen Sie einem Tool die Berechtigung, jede Tabelle zu lesen, wird der Agent Tabellen lesen, die er für seine Aufgabe nie benötigt hätte, weil ihn nichts in seinen Anweisungen darauf hingewiesen hat, dass diese Tabellen besonders geschützt sind. Die Zugangsdaten waren die Kontrolle – und die Zugangsdaten sagten Ja.
Schützen Sie die Schnittstelle, nicht die Absicht
Sie können das nicht absichern, indem Sie die Absichten des Agenten untersuchen. Sie sichern es genauso ab wie jeden leistungsfähigen Client: an der Schnittstelle.
Geben Sie jedem Agenten-Workflow eine eigene Identität und ein Token, dessen Gültigkeitsbereich auf die Tools und Daten beschränkt ist, die dieser Workflow benötigt. Ein Workflow zum Zusammenfassen von Inhalten braucht kein Schreib-Token, und ein Workflow, der schreibt, muss nicht das gesamte Data Warehouse lesen können.
Machen Sie Schreib-Tools idempotent. Übermitteln Sie mit jeder Anfrage einen Schlüssel, speichern Sie das Ergebnis, und geben Sie bei erneutem Eintreffen desselben Schlüssels das gespeicherte Ergebnis zurück, statt die Aktion ein zweites Mal auszuführen. Bei korrekter Implementierung verhindert dies, dass wiederholte Anfragen denselben Schreibvorgang mehr als einmal auslösen.
Das verringert auch das Risiko doppelter Aktionen, die sowohl durch legitime Wiederholungsversuche als auch durch bestimmte Replay-Versuche verursacht werden.
Überwachen Sie die Aktivitäten von Agenten und setzen Sie Grenzen durch
Protokollieren Sie Tool-Aufrufe genauso wie privilegierte Aktionen von Nutzern: welcher Agent, welcher Workflow, was er gelesen, was er geändert hat und auf wessen Anfrage hin. Wenn etwas schiefgeht – und das wird es –, sollte die Untersuchung Stunden dauern, nicht archäologische Ausgrabungen erfordern.
Legen Sie Budgets fest. Eine Obergrenze pro Aufgabe für die Anzahl der Aufrufe und das Datenvolumen verwandelt außer Kontrolle geratenes Verhalten von einem Vorfall in eine angehaltene Aufgabe mit einer eindeutigen Fehlermeldung. Agenten verstehen Budgets ungefähr so gut wie Junior-Entwickler – was bedeutet, dass das Budget vom System durchgesetzt werden muss und nicht in einem Prompt angefordert werden darf.
Diese Grenzen sollten durch das API-Gateway, die Tool-Ausführungsschicht oder einen anderen vertrauenswürdigen Dienst durchgesetzt werden, statt darauf zu vertrauen, dass der Agent sich selbst stoppt.
Nichts davon bremst einen gutartigen Agenten aus. All das zieht eine klare Grenze zwischen einem Agenten, der seine Aufgabe erledigt, und einem Agenten – oder jemandem, der ihn steuert –, der mit Ihren eigenen Zugangsdaten Schaden anrichtet. Genau dort hat die API-Abwehr schon immer hingehört.
Möchten Sie bessere Ergebnisse mit KI erzielen? Leser von eSecurity Planet erhalten sieben Tage lang kostenlos Zugang zu The Neuron Academy, einer praxisnahen Lernplattform voller KI-Tipps, Tricks und Prompting-Techniken. Beginnen Sie mit unserem kostenlosen sechsmütigen Kurs How to Talk to AI, um einfache Möglichkeiten kennenzulernen, bessere Prompts zu schreiben und nützlichere Antworten zu erhalten. Erkunden Sie anschließend weitere Lektionen, um Ihre KI-Kompetenzen und Ihr Selbstvertrauen bei der Arbeit auszubauen.