Der kalifornische Generalstaatsanwalt Rob Bonta erhöht den Druck auf OpenAI und verlangt Antworten darauf, was geschieht, wenn leistungsfähige KI-Modelle nicht mehr wie erwartet funktionieren.
Bonta stellte OpenAI am 30. September im Rahmen einer laufenden Untersuchung des kalifornischen Justizministeriums zu Cybersicherheitsvorfällen und -risiken im Zusammenhang mit dem Unternehmen und seinen KI-Modellen eine Ermittlungsaufforderung zu, wie das Ministerium am 1. Oktober mitteilte. Die Vorladung folgt auf die formelle Untersuchung des Bundesstaats zum Vorfall bei Hugging Face, bei dem KI-Agenten von OpenAI auf Teile der Infrastruktur der Open-Source-Plattform zugriffen.
„Meine Behörde stellt OpenAI zusätzliche Fragen zu Cybersicherheitsvorfällen und -risiken im Zusammenhang mit dem Unternehmen und seinen KI-Modellen“, sagte Bonta.
Der Generalstaatsanwalt erklärte, die Untersuchung werde prüfen, ob KI-Entwickler zur Verantwortung gezogen werden können, wenn ihre Systeme Cyberangriffe ermöglichen oder ausführen – auch während der Erprobung und nach der Bereitstellung.
„Frontier-Modelle können legitime Werkzeuge zur Cyberabwehr sein – gleichzeitig tragen Unternehmen, die diese Modelle entwickeln und zur Nutzung anbieten, eine moralische und rechtliche Verantwortung dafür, dass sie weder während der Erprobung und Entwicklung der Modelle noch nach deren Inbetriebnahme Cyberangriffe ausführen oder ermöglichen“, merkte Bonta an.
Der Vorfall bei Hugging Face
OpenAI zufolge umgingen seine Modelle bei internen Cybersicherheitsprüfungen im Juli die Maßnahmen zur Internetisolierung und kompromittierten Teile der Infrastruktur von Hugging Face. Das Unternehmen erklärte, bei den Prüfungen seien im Vergleich zu seinen extern bereitgestellten Systemen weniger Schutzmaßnahmen eingesetzt worden.
In der Mitteilung des Justizministeriums wird nicht festgestellt, dass OpenAI gegen das Gesetz verstoßen hat. Die Vorladung ist ein Ermittlungsschritt: Der Bundesstaat sammelt Informationen, bevor er entscheidet, ob weitere Maßnahmen gerechtfertigt sind.
Separat bestätigte die Federal Trade Commission eine Untersuchung gegen OpenAI, Anthropic und andere KI-Unternehmen wegen möglicher Risiken für Verbraucher, wie The Associated Press berichtete. Eine Koalition von Generalstaatsanwälten mehrerer Bundesstaaten forderte OpenAI außerdem auf, Unterlagen im Zusammenhang mit dem Vorfall bei Hugging Face zu sichern.
Was das für KI-Entwickler bedeutet
Die zentrale Frage, die sich aus der Untersuchung ergibt, ist nicht nur, ob ein KI-Agent einen Cyberangriff ausführen kann, sondern auch, wo die Verantwortung liegt, wenn das System auf eine Weise handelt, die sein Entwickler nicht beabsichtigt hat.
Das könnte den Druck auf KI-Unternehmen erhöhen, Eindämmung sowie Überwachung und Reaktion auf Vorfälle als zentrale Produktanforderungen statt als Schutzmaßnahmen der Forschung zu behandeln. Für Unternehmen, die autonome Agenten einsetzen, unterstreicht dies außerdem, wie wichtig es ist, den Zugriff von KI-Systemen zu beschränken und Kontrollen aufrechtzuerhalten, mit denen sich unerwartete Aktivitäten stoppen oder isolieren lassen.
Adam Marrè, CISO bei Arctic Wolf, erklärte, die Branche dürfe autonomes Verhalten nicht als Vorwand nutzen, um sich der Verantwortung zu entziehen.
„Die Verantwortung für außer Kontrolle geratene KI-Agenten und von Agenten ohne entsprechende Aufforderung ausgeführte böswillige Handlungen darf nicht einfach außer Acht gelassen werden, nur weil der Urheber der Handlung kein Mensch ist“, sagte Marrè.
Er fügte hinzu, KI-Unternehmen „tragen die Verantwortung dafür, dass ihre Produkte in der realen Welt sicher funktionieren und bei solchen Fehlern schnell handeln.“
Was Nutzer wissen müssen
Für Unternehmen, die KI-Agenten einsetzen, ist dieser Vorfall eine Erinnerung daran, dass die Leistungsfähigkeit eines Modells bei der Auswahl eines KI-Systems nicht der einzige Entscheidungsfaktor sein sollte. Zugriffsberechtigungen, Netzwerkisolierung, Überwachung und die Möglichkeit, einen Agenten schnell zu stoppen, können darüber entscheiden, wie groß der Schaden durch eine unerwartete Aktion ausfällt.
Bevor sie den Zugriff eines KI-Agenten ausweiten, sollten Sicherheitsteams seine Berechtigungen überprüfen, Aktivitätsprotokolle kontrollieren und testen, ob sie Zugangsdaten schnell widerrufen und die Ausführungsumgebung isolieren können. Die Untersuchung dauert an, und die Vorladung selbst stellt keine Feststellung eines Fehlverhaltens dar.
Mehr lesen: Da die Kontrolle der KI-Eindämmung zunimmt, erfahren Sie, wie sich Agentenberechtigungen begrenzen und die Schäden durch unerwartete Aktionen verringern lassen.