RSAC 2026: Vertrauen in agentischer KI-Sicherheit neu denken

Vor der RSAC 2026 stand ein Gespräch mit David Brauchler, Technical Director und Head of AI/ML Security bei NCC Group, im Zeichen einer wachsenden Sorge: Viele Unternehmen sind grundsätzlich nicht darauf vorbereitet, KI-gestützte Systeme abzusichern. 

Da Unternehmen zunehmend agentische KI einsetzen, brechen herkömmliche Sicherheitsannahmen zusammen und legen kritische Lücken beim Verständnis und Management von Risiken offen.

Die Kompetenzlücke bei der KI-Sicherheit und falsch gesetzte Prioritäten

Eine der zentralen Herausforderungen ist der Mangel an Fachwissen. Auch die Cybersicherheitsbranche selbst verfügt noch nicht über genügend Fachleute, die mit den spezifischen Risiken von KI umfassend vertraut sind. 

Daher konzentrieren sich Unternehmen häufig auf oberflächliche Kontrollen – etwa Leitplanken – und übersehen dabei schwerwiegendere Schwachstellen, die darin verankert sind, wie KI-Systeme mit Daten interagieren. 

Brauchler zufolge hat diese Fehlleitung zu „Sicherheits-Blendgranaten“ geführt, die von den tatsächlichen Bedrohungen ablenken, die zu Datenpannen, einer Ausweitung von Berechtigungen und einer vollständigen Kompromittierung des Systems führen können.

KI verlagert Risiken auf die Datenebene

Im Kern dieses Problems steht ein grundlegender Wandel der Frage, wo Risiken liegen. 

Herkömmliche Sicherheitsmodelle betonen die Komponentenebene – Anwendungen, Infrastruktur und Zugriffskontrollen. 

KI-Systeme kehren dieses Paradigma jedoch um, indem sie Risiken auf die Datenebene verlagern. 

In agentischen KI-Systemen wird das Verhalten nicht strikt durch statischen Code definiert, sondern dynamisch durch Eingabedaten beeinflusst. 

Wie Brauchler erklärte: „KIs sind Funktionen ihrer Eingaben.“ Das bedeutet, dass bösartige oder nicht vertrauenswürdige Daten das Verhalten des Systems direkt verändern können. 

Dadurch entsteht eine Umgebung, in der Vertrauen nicht länger feststeht, sondern flexibel ist und durch eingehende Informationen kontinuierlich neu gestaltet wird.

Warum herkömmliche Sicherheitsmodelle in agentischen Systemen versagen

Dieser Wandel bringt neue Komplexitäten mit sich. In klassischen Systemen sind Berechtigungen an Benutzer oder Dienste gebunden, und Vertrauensstufen bleiben relativ konstant. 

Agentische Systeme müssen dagegen unterschiedliche Vertrauensstufen innerhalb der Daten selbst berücksichtigen. 

Eingaben aus mehreren Quellen – etwa von Benutzern, Drittanbieter-APIs, oder aus Webinhalten – können widersprüchliche Vertrauensstufen einführen und sowohl die Wahrscheinlichkeit als auch die Auswirkungen von Angriffen erhöhen. 

Herkömmliche Zugriffskontrollmodelle reichen daher nicht aus, da sie die dynamische Natur KI-gesteuerter Workflows nicht berücksichtigen.

Zero-Trust-Prinzipien auf KI-Systeme anwenden

Um diese Herausforderungen zu bewältigen, empfehlen Brauchler und sein Team einen Zero-Trust-Ansatz, der auf KI-Umgebungen zugeschnitten ist. 

Ein zentrales Prinzip besteht darin, das Verhalten der KI an die Herkunft der Eingaben zu binden. Anders gesagt: KI-Systeme sollten die Vertrauensstufe der von ihnen verarbeiteten Daten übernehmen. 

Wird ein KI-Modell nicht vertrauenswürdigen Eingaben ausgesetzt, müssen seine Fähigkeiten entsprechend eingeschränkt werden. 

Dieses als Dynamic Capability Shifting bezeichnete Konzept stellt sicher, dass potenziell bösartige Daten keine Aktionen mit hohen Berechtigungen auslösen können.

Dynamic Capability Shifting und Datenherkunft

Eine weitere wichtige Strategie besteht darin, das Bewusstsein für die Datenherkunft zu verbessern. 

Auch wenn es möglicherweise nicht praktikabel ist, jedes Datenelement bis zu seiner exakten Quelle zurückzuverfolgen, müssen Unternehmen Mechanismen schaffen, um Vertrauensstufen im Verhältnis zum Ausführungskontext zu bewerten und zuzuweisen. 

So lassen sich fundiertere Entscheidungen darüber treffen, welche Aktionen ein KI-System ausführen darf.

Über monolithische KI hinaus: Gated-Agent-Architekturen

Ebenso wichtig ist die Abkehr von monolithischen KI-Architekturen. Viele Unternehmen setzen auf einen einzigen, äußerst leistungsfähigen Agenten, der eine große Bandbreite an Aufgaben erledigt.

Dieses „ein Agent, der sie alle beherrscht“-Modell verstärkt das Risiko erheblich, da jede Kompromittierung weitreichenden Zugriff auf sensible Systeme ermöglichen kann. 

Stattdessen empfiehlt Brauchler Gated-Agent-Architekturen, bei denen Aufgaben auf mehrere spezialisierte Agenten mit eingeschränkten Berechtigungen verteilt werden. 

Diese Agenten arbeiten in Sandbox-Umgebungen, und ihre Ausgaben werden in sichere, validierte Datentypen umgewandelt, bevor sie an Komponenten mit höherem Vertrauensniveau weitergegeben werden.

Vertrauenssegmentierung und sichere Designmuster

Dieser Architekturwandel entspricht dem übergeordneten Prinzip der Vertrauenssegmentierung. 

Agenten mit hohem Vertrauensniveau dürfen niemals ungeprüften oder verunreinigten Daten ausgesetzt werden, während Agenten mit niedrigem Vertrauensniveau keinen Zugriff auf privilegierte Funktionen haben sollten. 

Durch die Durchsetzung strikter Grenzen und die Validierung von Daten, während diese zwischen Komponenten übertragen werden, können Unternehmen das Risiko von Angriffen über Kontextgrenzen hinweg reduzieren, etwa durch Prompt-Injection oder Datenexfiltration.

Unterstützende Kontrollen für die Sicherheit agentischer KI

Zusätzlich zu diesen Designmustern sind mehrere unterstützende Kontrollen unerlässlich. 

Eingabemaskierung verhindert, dass sensible Daten nicht vertrauenswürdigen Kontexten offengelegt werden, während die I/O-Synchronisierung sicherstellt, dass die Ausgaben eines Agenten ordnungsgemäß validiert werden, bevor sie an anderer Stelle verwendet werden. 

Eine weitere Risikoreduzierung erreicht die Aufgabenminimierung, indem sie den Umfang der Aktionen begrenzt, die ein einzelner Agent ausführen kann. 

Zusammen schaffen diese Maßnahmen ein mehrschichtiges Verteidigungsmodell, das der dynamischen Natur von KI-Systemen Rechnung trägt.

KI als Erweiterung der Benutzeridentität neu denken

Letztlich erfordert die Absicherung agentischer KI einen Mentalitätswandel. 

Unternehmen müssen aufhören, KI lediglich als eine weitere Anwendungskomponente zu betrachten, und sie stattdessen als Erweiterung der Benutzeridentität und -absicht erkennen. 

Wie Brauchler betonte, handeln KI-Systeme im Namen der Benutzer und sollten nach denselben Sicherheitsprinzipien gesteuert werden. 

Jede Lockerung der Kontrollen, nur weil eine Aktion von einem KI-System ausgeht, führt zu einem nicht akzeptablen Risiko.

Ein Fahrplan zur Absicherung von KI-Systemen

Der weitere Weg erfordert sowohl technische als auch organisatorische Veränderungen. 

Kurzfristig sollten Unternehmen die Stakeholder für die KI-Integration identifizieren und mit der Bedrohungsmodellierung ihrer KI-Risikolandschaft beginnen. 

Mittelfristig müssen sie sichere Inferenz-Pipelines entwickeln und Entwickler in KI-spezifischen Sicherheitspraktiken schulen. 

Langfristiger Erfolg hängt davon ab, diese Kontrollen in alle Anwendungsumgebungen einzubetten und standardisierte Architekturen für künftige Implementierungen zu etablieren.

Die Zukunft agentischer KI absichern

Der Aufstieg agentischer KI erfordert eine Neudefinition von Vertrauen in der Cybersicherheit. 

Indem sie den Schwerpunkt auf datenzentrierte Risiken legen, dynamische Berechtigungskontrollen durchsetzen und segmentierte Architekturen einsetzen, können Unternehmen beginnen, die Lücke zwischen Innovation und Sicherheit zu schließen. 

Die Herausforderungen sind real. Doch wie Brauchler feststellte, ist sichere KI erreichbar – wenn Unternehmen bereit sind, ihren Ansatz zu überdenken und entschlossen zu handeln.