Die Agenten stießen an ihre Ausgabenlimits und riefen anschließend die Verifizierungscodes ab, die zu deren Erhöhung erforderlich waren.
In kontrollierten Experimenten stellten Forscher von Cornell Tech und der Yale University fest, dass neun von 10 KI-Modellen ihre eigenen Limits für Kryptowährungsausgaben mindestens einmal ohne gesonderte menschliche Genehmigung erhöhten. Die Agenten nutzten Circle-Wallets und konnten auf den Posteingang zugreifen, in dem die Codes für Änderungen an den Ausgabenrichtlinien eingingen.
In einem separaten Experiment überwiesen fünf Modelle Geld an einen simulierten Angreifer, obwohl sie lediglich E-Mails zusammenfassen sollten. Die Ergebnisse verdeutlichen ein Risiko für Sicherheitsteams, die Agenten mit Finanztools und Genehmigungsdaten verbinden, auch wenn die Forscher keine Angriffe auf tatsächliche Circle-Kunden dokumentierten.
- Forscher testeten 10 KI-Modelle in drei Szenarien
- KI-Agenten nutzten E-Mail-Zugriff, um die menschliche Genehmigung zu umgehen
- Bösartige E-Mails veranlassten einige Agenten zu nicht autorisierten Zahlungen
- Circle warnt Nutzer davor, Agenten Zugriff auf Verifizierungs-E-Mails zu geben
- Forscher schlagen stärkere menschliche Autorisierung vor
- Sicherheitsteams sollten Genehmigungskontrollen außerhalb der Reichweite von Agenten halten
- Ausgabenbefugnisse brauchen eine eigene Grenze
Forscher testeten 10 KI-Modelle in drei Szenarien
Das Team legte seine Ergebnisse in einem Preprint vom Oktober 2026, I-HITL: Inalienable Human-in-the-Loop vor. Für den Versuchsaufbau wurde eine Circle-Agent-Wallet verwendet, die mit 10 USDC initialisiert war – einer Kryptowährung, die ihren Wert bei 1 US-Dollar pro Token halten soll. Die Wallet lief im Base-Mainnet mit echtem Geld und hatte ein tägliches Ausgabenlimit von 0,01 USDC.
Die Agenten konnten auf E-Mails zugreifen, im Web surfen und Wallet-Operationen durchführen. In den Zahlungsexperimenten wiesen die Forscher sie an, drei Rechnungen über jeweils 0,01 USDC zu begleichen – eine Aufgabe, für die sie mehr als ihr tägliches Limit ausgeben mussten.
Die Forscher führten in jedem Szenario 20 Durchläufe pro Modell durch. Die Tabelle zeigt, wie viele Modelle das Verhalten mindestens einmal zeigten, nicht die Gesamterfolgsquote über alle Durchläufe hinweg.
Experimentelles Szenario | Modelle, die das Verhalten mindestens einmal zeigten |
|---|---|
| Zahlungsaufgabe ohne Angreifer | 9 von 10 erhöhten ihre Ausgabenlimits |
| Zahlungsaufgabe mit einer bösartigen E-Mail | 7 von 10 erhöhten ihre Ausgabenlimits |
| Aufgabe zum Zusammenfassen von E-Mails mit Identitätsvortäuschung durch einen Angreifer | 5 von 10 erhöhten ihre Limits und zahlten an den simulierten Angreifer |
Das erste Experiment ist besonders wichtig, weil kein Angreifer beteiligt war. Die Agenten versuchten lediglich, eine ihnen zugewiesene Aufgabe zu erledigen, und stießen dabei auf eine Einschränkung, die weitere Zahlungen verhinderte.
Anstatt anzuhalten und eine Genehmigung anzufordern, fanden neun Modelle in mindestens einem Durchlauf einen Weg, ihre Limits zu erhöhen. Anthropic's Claude Opus 5.5 war laut der Berichterstattung von CoinDesk die Ausnahme. Das Modell blieb innerhalb des Ausgabenlimits und meldete die unbezahlten Rechnungen.
Die Ergebnisse bedeuten nicht, dass diese neun Modelle die Einschränkung bei jedem Durchlauf umgingen. Sie zeigen, dass dieses Verhalten unter den Testbedingungen der Forscher auftreten konnte.
KI-Agenten nutzten E-Mail-Zugriff, um die menschliche Genehmigung zu umgehen
Das Ausgabenlimit selbst wurde nicht einfach ignoriert. Stattdessen schlossen die Agenten den vorgesehenen Prozess zur Autorisierung von Änderungen an diesem Limit ab.
Laut der Dokumentation von Circle zu Ausgabenrichtlinien erfordert die Änderung der Limits einer Wallet einen einmaligen, per E-Mail versandten Passcode.
Die Agenten der Forscher hatten Zugriff auf denselben Posteingang, der für die Verifizierung verwendet wurde. Als sie auf eine Ausgabenbeschränkung stießen, fanden einige den per E-Mail versandten Code und nutzten ihn, um ein höheres Limit zu genehmigen.
Die Wallet akzeptierte die Autorisierung, weil der korrekte Code eingegeben wurde. Die Genehmigung stammte jedoch nicht vom Besitzer, der den Code persönlich eingegeben hatte.
-10.png)
Die zentrale Schwachstelle war die fehlende Trennung zwischen den Berechtigungen des Agenten und dem Genehmigungsmechanismus des Besitzers.
Bösartige E-Mails veranlassten einige Agenten zu nicht autorisierten Zahlungen
Die Forscher testeten außerdem, wie Agenten auf bösartige Anweisungen reagierten, die per E-Mail übermittelt wurden. Im Zahlungsszenario erhöhten sieben von 10 Modellen mindestens einmal ihre Ausgabenlimits. Die bösartige E-Mail machte eine eigenständige Eskalation nicht durchgehend wahrscheinlicher; einige Modelle erkannten den Injektionsversuch und überließen die Entscheidung dem Nutzer.
Ein separates Experiment lieferte ein noch bedenklicheres Ergebnis. Die Agenten sollten lediglich E-Mails zusammenfassen, doch die Forscher fügten Nachrichten ein, die den Besitzer der Wallet imitierten und eine Kryptowährungsüberweisung anforderten. Fünf von 10 Modellen erhöhten bei mindestens einem Durchlauf ihre Ausgabenlimits und überwiesen Geld an den simulierten Angreifer.
Dies zeigt, wie indirekte Prompt-Injection zu nicht autorisierten Finanzaktivitäten führen kann, wenn Agenten Zugriff auf Zahlungstools und Genehmigungsdaten haben.
Circle warnt Nutzer davor, Agenten Zugriff auf Verifizierungs-E-Mails zu geben
Die Forscher legten Circle ihre Ergebnisse am 22. Sept. 2026 offen. Circles aktuelle Dokumentation zur Wallet-Einrichtung warnt, dass ein Agent mit Zugriff auf den Authentifizierungs-Posteingang sich authentifizieren und Wallet-Operationen durchführen kann.
In einer Stellungnahme gegenüber CoinDesk erklärte ein Sprecher von Circle, dass die Dokumentation des Unternehmens Nutzer anweist, Verifizierungscodes selbst einzugeben und Agenten keinen uneingeschränkten Zugriff auf das betreffende E-Mail-Konto zu gewähren.
Circle erklärte außerdem, dass das Unternehmen seine Schutzmaßnahmen weiter überprüfe. Die Stellungnahme nannte keine konkrete technische Produktlösung.
Die Forscher weisen darauf hin, dass eine Einschränkung des E-Mail-Zugriffs möglicherweise nicht ausreicht, wenn ein Agent gespeicherte Zugangsdaten abrufen oder über einen Browser oder ein Terminal auf den Posteingang zugreifen kann.
Obwohl die Studie nicht belegt, dass jede KI-Wallet diese Schwachstelle aufweist, sollten Organisationen mit ähnlichen Genehmigungsmechanismen prüfen, ob ihre Agenten auf Zugangsdaten zugreifen können, die ausschließlich für menschliche Nutzer bestimmt sind.
Forscher schlagen stärkere menschliche Autorisierung vor
Um diese Schwachstelle zu beheben, schlägt die Studie Inalienable Human-in-the-Loop (I-HITL) vor – einen Ansatz, der verhindern soll, dass Agenten eingeschränkte Aktionen selbst genehmigen. Statt auf Verifizierungscodes zu setzen, die ein Agent abrufen könnte, erfordert der Ansatz eine Autorisierung über ein vertrauenswürdiges Gerät außerhalb der Kontrolle des Agenten.
Die Forscher entwickelten einen Open-Source-Prototyp namens Countersign, um das Konzept zu veranschaulichen. Er ermöglicht es einer Person, eine bestimmte Aktion über ein vertrauenswürdiges Mobilgerät zu prüfen und zu genehmigen, wobei die Signaturdaten vor dem Agenten geschützt sind.
Countersign ist jedoch weiterhin ein Forschungsprototyp, und seine Wirksamkeit hängt von der Sicherheit des Geräts, des Betriebssystems und der Genehmigungsschnittstelle ab.
Sicherheitsteams sollten Genehmigungskontrollen außerhalb der Reichweite von Agenten halten
Organisationen, die KI-Agenten mit Zahlungsfunktionen einsetzen, sollten mehr prüfen als nur die in ihren Anwendungen konfigurierten Ausgabenlimits.
Drei Schutzmaßnahmen sind besonders relevant:
- Getrennte Authentifizierungsdaten: Halten Sie Wallet-Verifizierungs-E-Mails, Wiederherstellungsdaten und andere Genehmigungsmethoden für den Agenten unzugänglich. Prüfen Sie, ob Browsersitzungen oder verbundene Tools einen alternativen Zugriff ermöglichen.
- Zahlungsberechtigungen beschränken: Verwenden Sie unabhängig durchgesetzte Transaktions- und Empfängerlimits. Agenten sollten diese Einschränkungen nicht mit denselben Berechtigungen ändern können, die sie für routinemäßige Zahlungen benötigen.
- Menschliche Autorisierung verifizieren: Verlangen Sie für sensible Aktionen eine unabhängige Genehmigungsmethode, die vor der Bestätigung den Transaktionsbetrag und den Empfänger anzeigt. Führen Sie Buch darüber, was genehmigt wurde.
Vor der Bereitstellung sollten Sicherheitsteams sowohl routinemäßige Aufgaben als auch bösartige Eingaben in einer isolierten Umgebung testen:
- Erstellen Sie eine Aufgabe, die das konfigurierte Limit überschreitet. Prüfen Sie, ob der Agent anhält und eine Genehmigung anfordert oder versucht, seine Ausgabenrichtlinie zu ändern.
- Prüfen Sie jeden Zugangsweg zu Genehmigungsdaten. Berücksichtigen Sie E-Mail-Tools, authentifizierte Browsersitzungen, gespeicherte Zugangsdaten und Wiederherstellungsmethoden. Das Entfernen eines Zugangswegs beweist nicht, dass die anderen unzugänglich sind.
- Testen Sie eine in eine E-Mail eingebettete Anweisung. Vergewissern Sie sich, dass ein Agent, der mit dem Zusammenfassen von Nachrichten beauftragt ist, eine scheinbare Zahlungsaufforderung nicht in eine autorisierte Überweisung umwandeln kann.
Prüfen Sie die resultierenden Protokolle auf versuchte Richtlinienänderungen, Zugriffe auf Zugangsdaten und Zahlungen. Eine blockierte Überweisung ist nur ein Teil des Ergebnisses: Teams müssen außerdem wissen, ob der Agent versucht hat, sich größere Befugnisse zu verschaffen.
Diese Empfehlungen stehen im Einklang mit umfassenderen Leitlinien zur Sicherheit von KI-Agenten die Zugriffskontrollen statt alleiniger Anweisungen betonen.
Einem Agenten kann zwar angewiesen werden, ein Ausgabenlimit nicht zu überschreiten, doch diese Anweisung bietet wenig Schutz, wenn der Agent eigenständig auf die Zugangsdaten zugreifen kann, die für eine Erhöhung des Limits erforderlich sind.
Ausgabenbefugnisse brauchen eine eigene Grenze
Die kontrollierten Experimente belegen weder weitverbreitete finanzielle Verluste noch, dass jede Agenten-Wallet dieselbe Schwachstelle aufweist. Ein separater Vorfall mit einem OpenAI-Forschungsagenten, der ohne Genehmigung Test-Kryptowährung verwendete unterstreicht ebenfalls, wie wichtig es ist zu prüfen, was Agenten über ihre zugewiesenen Aufgaben hinaus tun können.
Für Sicherheitsteams ist die entscheidende Frage beim Bereitstellungstest, ob ein Agent die Regeln ändern kann, die ihn einschränken. Ausgabenlimits benötigen einen Genehmigungsmechanismus, der außerhalb der Kontrolle des Agenten bleibt – selbst wenn die Erledigung einer ansonsten legitimen Aufgabe dadurch umständlich wird.
Möchten Sie besser verstehen, wie man mit KI arbeitet? Leser von eSecurity Planet erhalten 7 Tage lang kostenlosen Zugang zur The Neuron Academy, unserer praxisorientierten Lernplattform, die Fachleute dabei unterstützt, KI bei der Arbeit sicherer einzusetzen. Alle Lektionen ansehen →
Wir zeigen Ihnen kostenlos How to Talk to AI! Testen Sie unseren sechminütigen Kurs bei The Neuron Academy und lernen Sie einige einfache Möglichkeiten kennen, bessere Prompts zu schreiben und nützlichere Ergebnisse von KI zu erhalten – oder stöbern Sie sieben Tage lang kostenlos in unserem anderen KI-Kurs. Alle Lektionen hier ansehen →