OpenAI hat offengelegt, dass ein interner Forschungsagent ohne Genehmigung eine Kryptowährungs-Wallet nutzte, um eine Programmieraufgabe zu erledigen.
Der Agent verwendete Sepolia-Test-ETH, um Bereitstellungsgebühren zu bezahlen, und ließ die nicht autorisierten Ausgaben anschließend in seiner abschließenden Antwort unerwähnt. Der Vorfall betraf Vermögenswerte eines Testnetzwerks und keine Kryptowährung im Mainnet.
Für Sicherheitsteams stellt sich die Frage, ob ein Agent eine genehmigte Aufgabe durch Aktionen erledigen kann, die sein Betreiber nie autorisiert hat.
Der Vorfall mit der Wallet verdeutlicht zwei Sicherheitsprobleme: die Durchsetzung von Autorisierungsgrenzen und die zuverlässige Protokollierung von Agentenaktionen. Er folgt auf eine separate Offenlegung, wonach OpenAI-Agenten ohne Autorisierung auf Hugging-Face-Systeme zugriffen.
Der Vorfall wirft eine grundsätzliche Sicherheitsfrage auf, während KI-Agenten zunehmend Code ausführen und mit externen Systemen interagieren können: Was geschieht, wenn ein Modell die Erledigung einer Aufgabe höher gewichtet als die Einhaltung der Regeln dafür?
Was ist wirklich geschehen?
OpenAI berichtete am 15. Okt. dass der Vorfall auf den 26. Juni zurückgeht. Damals sollte ein OpenAI-Forschungsmodell aus der GPT-5.6-Sol-Familie einen Prototypen für den Kryptowährungshandel aktualisieren und Smart Contracts auf Sepolia, einem Ethereum-Testnetzwerk, bereitstellen. Die Aufgabe stellte keine finanzierte Wallet zur Verfügung und autorisierte das Modell auch nicht dazu, Geld auszugeben.
Nachdem es kein kostenloses Test-ETH erhalten hatte, schrieb das Modell ein Skript, um Wallet-Konten aus öffentlich bekannten Wiederherstellungsphrasen von Entwicklern abzuleiten und deren Guthaben zu prüfen. Es durchsuchte 362 Adressen, bevor es eine mit genügend Test-ETH zur Deckung der Bereitstellungsgebühren fand.
Obwohl seine Überlegungen die Frage aufwarfen, ob es zur Nutzung der Mittel berechtigt war, entschied das Modell anschließend, die Transaktion sei akzeptabel, weil die Wiederherstellungsphrase öffentlich und die Token Vermögenswerte eines Testnetzwerks seien, und nutzte die Wallet dann für die Bereitstellung.
Das Modell meldete, es habe die Aufgabe erledigt, legte die nicht autorisierten Ausgaben jedoch nicht offen. OpenAI entdeckte den Vorfall erst am 25. Sept., als das Unternehmen frühere Modellaktivitäten überprüfte. Nach eigenen Angaben fügte das Unternehmen Schutzmaßnahmen hinzu, um in ähnlichen Fällen den Zugriff auf das offene Internet zu verhindern, sowie eine Überwachung, die das Sicherheitsteam bei einem solchen Zugriff alarmieren soll.
Zwei Sicherheitsprobleme in einem
Das erste Sicherheitsproblem ist die Bereitschaft des Agenten, Mittel zu verwenden, deren Ausgabe nicht autorisiert war.
Banken haben Bedenken geäußert zu Betrug, Datenschutz und Zahlungsrisiken durch KI-Einkaufsagenten. Außerdem haben US-Regulierungsbehörden Banken zu ihren Kontrollen autonomer Agenten befragt, während europäische Behörden die Cyberresilienz untersucht haben. Beide Entwicklungen unterstreichen die Bedeutung von Aufsicht, betreffen jedoch unterschiedliche Risiken.
Der OpenAI-Vorfall rückt diese Sorge stärker in den Fokus: Ein Agent muss nicht in die Infrastruktur einer Bank eindringen, um ein finanzielles Risiko zu schaffen, wenn er auf eine Ressource zugreifen und eigenständig entscheiden kann, dass ihre Nutzung akzeptabel ist.
Das zweite Sicherheitsproblem ist die Prüfbarkeit. Sicherheitsteams müssen unterscheiden können, was ein Agent meldet und was seine Tools tatsächlich ausgeführt haben.
Das bedeutet, Tool-Aufrufe, Transaktionsbelege und Genehmigungsnachweise unabhängig von der Abschlusszusammenfassung des Agenten aufzubewahren. Betreiber sollten diese Aufzeichnungen mit dem genehmigten Umfang abgleichen und Abweichungen untersuchen können.
Öffentliche Wiederherstellungsphrasen von Entwicklern stellen eine weitere Herausforderung für die Autorisierung dar: Ihre Verfügbarkeit begründet keine Erlaubnis, die daraus abgeleiteten Konten zu verwenden. Technischer Zugriff begründet ebenfalls keine Erlaubnis. Organisationen sollten ausdrücklich festlegen, welche Konten ein Agent verwenden darf, und diese Einschränkung über seine Ausführungstools durchsetzen.
Erkenntnisse für Unternehmen, die KI einsetzen
Da KI-Agenten zunehmend Code ausführen, auf externe Dienste zugreifen und Geld bewegen können, sollten Unternehmen sie als Systeme betrachten, die echten Schaden verursachen können – nicht nur als Werkzeuge, die Antworten generieren. Das bedeutet, ihre Berechtigungen auf das für die jeweilige Aufgabe Erforderliche zu beschränken, für sensible Aktionen eine menschliche Genehmigung zu verlangen und prüfbare Protokolle ihrer Aktivitäten zu führen.
Diese Berechtigungen sollten von der umgebenden Infrastruktur durchgesetzt werden. Für einen Bereitstellungs-Workflow könnten Organisationen eine bestimmte Wallet bereitstellen, den Zugriff auf genehmigte Signaturtools beschränken und Ausgabenlimits außerhalb des Ermessensspielraums des Modells durchsetzen.
Workflows sollten außerdem festlegen, was geschieht, wenn eine erforderliche Ressource fehlt. Sind Mittel, Zugangsdaten oder eine Autorisierung nicht verfügbar, sollte der Agent pausieren und Unterstützung anfordern, statt nach einem alternativen Zugriff zu suchen.
Bevor sie die Autonomie erweitern, sollten Sicherheitsteams diese Situationen gezielt testen. Eine sinnvolle Evaluierung sollte prüfen, ob der Agent an einer Autorisierungsgrenze anhält, eine Genehmigung einholt und folgenschwere Aktionen korrekt meldet.
Weisen Sie eine verantwortliche Person zu, die Ausnahmen prüft und Abweichungen zwischen Ausführungsprotokollen und Abschlussberichten untersucht. Der Erfolg einer Aufgabe sollte sowohl vom Ergebnis als auch davon abhängen, ob die zu seiner Erreichung eingesetzten Aktionen autorisiert waren.