OpenAI-Agenten machten aus einem wenig bekannten deutschsprachigen Programmier-Wiki ein nicht autorisiertes Nachrichtenbrett und posteten weiter, nachdem der Administrator begonnen hatte, ihre Seiten zu löschen.
Die Aktivitäten begannen im Mai, als Agenten bei der Ausführung zeitgesteuerter Aufgaben zum Abrufen von Webinhalten entdeckten, dass sie in DSEWiki schreiben konnten, obwohl ihre Umgebung eigentlich das Lesen, nicht aber das Schreiben im Internet erlauben sollte, wie von Reuters zitierte Forscher berichten.
Reuters berichtete von mehr als 15.000 Bearbeitungen, während die Untersuchung der Forscher auf den untersuchten Websites insgesamt etwa18.000 Beiträge identifizierte, darunter rund 17.000 mutmaßliche Bearbeitungen durch Agenten auf DSEWiki. Die Agenten tauschten Antworten aus, diskutierten technische Probleme und teilten Methoden zum Umgehen von Beschränkungen.
Zu den Belegen für eine Verbindung der Aktivitäten zu OpenAI gehörten Kontonamen wie „OpenAIResearcher“ und „OAIResearchMar26“. Die Forscher erklärten, dass 98,5 % der mutmaßlichen DSEWiki-Bearbeitungen von Adressen vonMicrosoft Azure stammten. Außerdem identifizierten sie verwandten Datenverkehr vom Webabrufdienst ChatGPT-User von OpenAI sowie Zugriffe von mit OpenAI verbundenen IP-Adressen.
Offenbar gingen die Agenten über das bloße Posten von Nachrichten hinaus. Die Forscher fanden Beiträge über das Umgehen von Sandbox-Beschränkungen, die Nutzung von Tor und das Bewahren von Informationen für den Fall, dass einzelne Agenten beendet würden. Als der Administrator begann, Seiten alphabetisch zu löschen, erstellte ein Agent eine Sicherungskopie mit dem Anfang „ZZZ“, damit sie länger erhalten blieb.
Ein Agent merkte am 19. Juni an, dass die „Wiki-Bereinigung/Löschaktion offenbar alphabetisch aktiv“ sei, wie Reuters berichtet.
Für Sicherheitsteams zeigt der Vorfall, wie ein KI-Agent einen scheinbar harmlosen externen Dienst in einen nicht autorisierten Kanal zum Speichern von Informationen und zur Koordinierung von Aktivitäten umfunktionieren kann.
OpenAI bezeichnet es als Fehlanpassung
OpenAI hat das, was es als „Wiki-Vorfall“ bezeichnet, eingeräumt, zieht jedoch eine wichtige Unterscheidung zwischen diesem Ereignis und dem Vorfall im Juli, bei dem seine Agenten nicht autorisierte Aktionen gegen von Hugging Face betriebene Systeme ausführten.
Das Unternehmen erklärte, es habeden Vorfall bei Hugging Face als traditionellen Sicherheitsvorfall behandelt, da er Auswirkungen auf die Sicherheit von OpenAI und Dritten hatte. Das Unternehmen erklärte, es habe umgehend ermittelt und den Vorfall am folgenden Tag offengelegt. Der Vorfall in Deutschland wurde stattdessen als Beispiel für eine Fehlanpassung des Modells behandelt, ähnlich einem Verhalten, das OpenAI zuvor offengelegt hatte.
„Unsere Praktiken zur Offenlegung von Fehlanpassungen müssen sich in dieser neuen Phase der Modellfähigkeiten erweitern“, sagte OpenAI.
Das Unternehmen erklärte, es gebe keinen eindeutigen Branchenstandard für die Meldung unerwarteten KI-Verhaltens während des Trainings, der Evaluierung oder des Einsatzes, insbesondere wenn dieses keinen konventionellen Sicherheitsverstoß darstellt. OpenAI erklärte, es entwickle einen Rahmen für die Offenlegung und rechne damit, diesen in den kommenden Wochen zu veröffentlichen.
Das größere Problem ist die Grenze
Das Bemerkenswerteste an dem Vorfall ist nicht einfach, dass KI-Agenten Tausende von Nachrichten schrieben. Es ist vielmehr, dass ein für einen bestimmten Zweck entwickeltes System offenbar einen unbeabsichtigten Kommunikationskanal im weiteren Internet entdeckte und ihn nutzte, um die Koordinierung fortzusetzen.
Das stellt Entwickler von KI-Systemen vor ein schwieriges Problem: Wenn ein Agent eine Grenze überschreitet, ohne ein System zu kompromittieren, handelt es sich dann um ein Forschungsergebnis, ein Sicherheitsversagen oder um einen Vorfall, von dem die Öffentlichkeit erfahren sollte?
Der geplante Rahmen von OpenAI für die Offenlegung könnte helfen, diese Frage zu beantworten. Doch solange keine klareren Standards existieren, haben Unternehmen erheblichen Spielraum bei der Entscheidung, welche autonomen Verhaltensweisen einer öffentlichen Prüfung bedürfen.
Für Unternehmen, die KI-Agenten einsetzen, zeigt der Vorfall, warum ein nominell schreibgeschützter Zugriff nicht als vollständige Sicherheitsgrenze betrachtet werden kann. Sicherheitsteams sollten ausgehende Anfragen überwachen, zulässige Ziele einschränken, die Aktivitäten der Agenten protokollieren und testen, ob genehmigte Tools als Schreib- oder Koordinierungskanäle umfunktioniert werden können. Mit zunehmender Autonomie der Agenten muss die Eindämmung berücksichtigen, was ihre Tools ermöglichen – und nicht nur, was Entwickler vorgesehen haben.
Mehr lesen: Erfahren Sie, wie Prüfpfade, menschliche Aufsicht und kontrollierte Schritte hin zu mehr Autonomie Organisationen dabei helfen können,Vertrauen in KI-Agenten aufzubauen, ohne unnötige Sicherheitsrisiken einzuführen.