Einige der bekanntesten Namen im Bereich der künstlichen Intelligenz (KI) sprechen plötzlich über eine Verlangsamung der Entwicklung.
Dieses Video wurde mithilfe von KI erstellt und zeigt einen KI-Avatar.
OpenAI-CEO Sam Altman unterstützt Forderungen, das Entwicklungstempo an der KI-Spitze zu drosseln , da immer leistungsfähigere KI-Systeme die Frage aufwerfen, ob Entwickler sie weiterhin schneller verbessern können, als sie sie verstehen und kontrollieren können.
Anthropic-CEO Dario Amodei hat ebenfalls eine stärkere Koordination zwischen führenden KI-Unternehmen gefordert, einschließlich unabhängiger Evaluierungen und gemeinsamer Sicherheitsstandards.
Ich denke, diese Diskussion ist es wert, geführt zu werden. Aus Sicht der Cybersicherheit sehe ich jedoch ein weiteres Problem, das nicht auf die nächste Generation von KI warten kann.
Organisationen geben KI-Agenten bereits Zugangsdaten und Zugriff auf Systeme. Diese Agenten können zudem mit nur begrenzter menschlicher Beteiligung Aktionen ausführen.
Damit ist KI-Sicherheit schon heute ein operatives Problem und nicht nur ein theoretisches Problem der Zukunft.
KI-Sicherheit wird zum Problem der Zugriffskontrolle
Die jüngsten Vorfälle im Zusammenhang mit Anthropics Claude zeigen, was passieren kann, wenn autonome Systeme außerhalb ihrer vorgesehenen Umgebungen arbeiten.
Anthropic gab bekannt, dass seine Modelle während mehrerer Evaluierungen unbefugten Zugriff auf reale Systeme Dritter erlangt hatten.
Das Unternehmen weitete seine Untersuchung anschließend auf etwa 481 Millionen Transkripte aus und räumte Schwachstellen bei der Betriebssicherheit und beim Modellverhalten ein.
Für mich ist das der Punkt, an dem die Diskussion über KI-Sicherheit für Cybersicherheitsteams deutlich vertrauter zu wirken beginnt.
Oleksandr Yaremchuk, CTO und Mitgründer von Manifold Security, erklärte in einer E-Mail an eSecurityPlanet, dass eine Verlangsamung der Entwicklung an der KI-Spitze nicht das Absichern von Agenten ersetzen könne, die Organisationen bereits eingesetzt haben.
„Das Entwicklungstempo an der KI-Spitze zu drosseln, ist die richtige Diskussion, aber es darf kein Ersatz dafür werden, die KI abzusichern, die wir bereits in die Welt gebracht haben“, sagte Yaremchuk.
Er verglich autonome KI mit Gefahrstoffen.
Organisationen warten nicht, bis Gefahrstoffe noch gefährlicher werden, bevor sie festlegen, wer sie verwahren und auf sie zugreifen darf. Sie überwachen außerdem, wohin diese Materialien gelangen, und schaffen Verantwortlichkeit, wenn etwas schiefläuft.
Ich finde, diese Analogie passt gut zu KI-Agenten.
Wenn ein Agent mit der Produktionsinfrastruktur interagieren kann, sollte das Sicherheitsteam wissen, über welche Zugangsdaten er verfügt und auf welche Ressourcen er zugreifen kann. Teams sollten außerdem sehen können, was der Agent getan hat, und seinen Zugriff bei Bedarf schnell entziehen können.
Dieselben Grundsätze, die wir auf menschliche und maschinelle Identitäten anwenden, dürfen nicht einfach verschwinden, nur weil die Identität, die eine Aktion ausführt, zufällig eine KI ist.
Freiwillige Leitplanken stehen vor einem Anreizproblem
Es gibt außerdem eine praktische Herausforderung, wenn konkurrierende KI-Unternehmen freiwillig dazu aufgefordert werden, die Entwicklung zu verlangsamen.
Jeremiah Fowler, Cybersicherheitsforscher bei Black Hills Information Security, verweist auf die enormen Wettbewerbsvorteile, die die Entwicklung in die entgegengesetzte Richtung treiben.
„Die unbequeme Wahrheit ist, dass KI-Unternehmen einen Anreiz haben, fortschrittliche Modelle zu entwickeln, die besser sind als die ihrer Wettbewerber“, sagte Fowler.
Das macht freiwillige Zurückhaltung schwierig, wenn Unternehmen befürchten, ihre Marktposition zu verlieren.
Fowler argumentiert, dass sinnvolle Leitplanken durchsetzbare Mindestsicherheitsstandards festlegen und unabhängige Tests und Audits vorschreiben sollten. Sie sollten außerdem autonome Berechtigungen begrenzen und gleichzeitig Menschen einbinden.
Einige KI-Entwickler bewegen sich bereits auf robustere Evaluierungsrahmen zu. Anthropic etwa unterhält eine Responsible Scaling Policy und eine Frontier Safety Roadmap, die sich auf Schutzmaßnahmen und Sicherheit konzentrieren. Die Roadmap befasst sich auch mit Alignment und Richtlinien.
Das Unternehmen erklärte außerdem, ein koordiniertes Entwicklungstempo in der gesamten Branche müsse gesetzeskonform und unabhängig überprüfbar sein. Dafür wäre auch eine Zusammenarbeit zwischen Regierung und Industrie erforderlich.
Unabhängige Evaluierungen könnten eine weitere Kontrollinstanz bieten, insbesondere wenn Modelle zunehmend anspruchsvollere Aufgaben ausführen können.
Doch Evaluierungen allein werden keinen KI-Agenten absichern, der innerhalb eines Unternehmens läuft.
Organisationen sollten die bereits vorhandene KI absichern
Für Sicherheitsverantwortliche sehe ich in dieser Debatte zwei getrennte Fragen.
Die Branche muss klären, wie sich immer leistungsfähigere Modelle an der KI-Spitze sicher entwickeln lassen.
Organisationen müssen unterdessen klären, wie sie die KI-Systeme kontrollieren, die bereits mit ihren Umgebungen verbunden sind.
Das bedeutet, autonome Agenten als privilegierte Identitäten und nicht bloß als ein weiteres Software-Feature zu behandeln.
Man sollte ihnen nur die für ihre Aufgaben erforderlichen Berechtigungen erteilen und die von ihnen verwendeten Zugangsdaten schützen. Ihre Aktionen sollten außerdem protokolliert werden, damit Sicherheitsteams ungewöhnliches Verhalten überwachen können.
Organisationen sollten klare Grenzen dafür festlegen, was Agenten autonom ausführen dürfen. Menschen sollten außerdem die Möglichkeit haben, den Zugriff bei Bedarf sofort zu beenden.
Yaremchuk bringt die Herausforderung auf drei einfache Fragen:
- Was hat der Agent getan?
- Worauf hatte er Zugriff?
- Hätten Sie ihn stoppen können?
Ich würde noch eine hinzufügen: Wie schnell würden Sie wissen, dass Sie das hätten tun müssen?
Die größere Debatte über KI-Sicherheit wird Zeit brauchen, bis sie gelöst ist. Sicherheitsteams können nicht abwarten, bis diese Debatte festlegt, wie Agenten überwacht werden, worauf sie zugreifen dürfen und wann Menschen eingreifen müssen.
Die Anwendung von Zero Trust kann Organisationen dabei helfen, den Zugriff von KI-Agenten und anderen Identitäten zu begrenzen und gleichzeitig kontinuierlich zu überprüfen, ob dieser Zugriff zulässig sein sollte.