Wenn agentenbasierte KI-Systeme von Pilotprojekten in den praktischen Einsatz übergehen, wird Governance schnell zu einem Thema für die Unternehmensleitung.
Im Gegensatz zu herkömmlichen KI-Modellen, die Inhalte generieren, können agentenbasierte Systeme eigenständig Tools aufrufen, auf Unternehmensdaten zugreifen und Aktionen in Geschäftssystemen ausführen – was die Risikobilanz grundlegend verändert.
„Wenn agentenbasierte KI von der Experimentierphase in den praktischen Einsatz übergeht, ist Governance unverzichtbar geworden“, sagte Chris Hughes, VP of Security Strategy bei Zenity in einer E-Mail an eSecurityPlanet.
Er fügte hinzu: „Agentenbasierte KI-Systeme sind darauf ausgelegt, autonom zu handeln, Tools aufzurufen und direkt mit Unternehmensdaten und -systemen zu interagieren. Dadurch verändert sich grundlegend, wie Risiken gemanagt werden müssen.“
Wie agentenbasierte KI das Risikomanagement verändert
Agentenbasierte KI stellt eine grundlegend andere Governance-Herausforderung dar als frühere KI-Generationen.
Herkömmliche Aufsichtsmaßnahmen konzentrierten sich weitgehend auf Modellgenauigkeit, die Eindämmung von Verzerrungen und die Ausgabequalität – mit dem Ziel, zuverlässige und verantwortungsvolle Antworten sicherzustellen.
Agentenbasierte KI geht dagegen über die reine Inhaltserzeugung hinaus.
Diese Systeme verarbeiten routinemäßig nicht vertrauenswürdige Eingaben – etwa E-Mails, Dokumente, Chatnachrichten, Browserinhalte und API-Antworten – und handeln anschließend auf Grundlage dieser Informationen mit Berechtigungen, die entweder ausdrücklich zugewiesen oder von Benutzern geerbt wurden.
Dieser Wandel verändert die Art des Risikos.
Wie im NIST AI Risk Management Framework dargelegt, muss wirksame Governance über die Modellleistung hinausgehen und Kontrollen für den gesamten Lebenszyklus, Beobachtbarkeit und durchsetzbare Richtliniengrenzen berücksichtigen.
Mit anderen Worten: Governance muss nicht nur berücksichtigen, was ein KI-System sagt, sondern auch, worauf es zugreifen kann und was es tun darf – im Einklang mit einer umfassenderen souveränen KI-Kontrolle über Datenzugriff und System-Governance
Organisationen, die Agenten als einfache Produktivitätswerkzeuge betrachten, unterschätzen möglicherweise deren betriebliche Auswirkungen. In der Praxis funktionieren agentenbasierte Systeme eher wie Automatisierungsplattformen mit delegierten Befugnissen.
Sie können Workflows auslösen, Datensätze ändern, mit SaaS-Plattformen interagieren und Aufgaben in Unternehmenssystemen ausführen.
Diese Verbindung von Autonomie und Privilegien schafft neue Angriffsflächen – insbesondere, wenn Agenten kontinuierlich arbeiten und den Kontext über mehrere Interaktionen hinweg behalten.
Agentenbasierte KI unterscheidet sich in mehreren wichtigen Punkten von früheren KI-Einsätzen:
- Agenten verarbeiten nicht vertrauenswürdige externe Eingaben als Teil ihres normalen Betriebs.
- Sie handeln autonom mit gewährten oder geerbten Berechtigungen.
- Sie können Gedächtnis und Kontext über mehrere Sitzungen hinweg behalten.
- Sie können direkt mit sensiblen Unternehmenssystemen interagieren.
Zusammengenommen koppeln diese Merkmale Eingabe, Schlussfolgerung und Ausführung eng miteinander.
Wenn ein Agent manipulierte oder bösartige Inhalte verarbeitet und über ausreichende Berechtigungen verfügt, kann er ohne menschliches Eingreifen unbeabsichtigte Aktionen ausführen.
Aus Governance-Perspektive ähnelt dies eher einem Vertrauensproblem zwischen Maschinen als einer herkömmlichen Herausforderung der Inhaltsmoderation.
Das Risiko beschränkt sich nicht länger auf ungenaue Ausgaben – es umfasst unbefugten Zugriff, unsichere Automatisierung und potenziell systemweite Auswirkungen auf vernetzte Systeme.
Eingaben und Ausführung voneinander trennen
Ein grundlegendes Prinzip bei der Governance agentenbasierter KI ist die klare Trennung zwischen nicht vertrauenswürdigen Eingaben und privilegierter Ausführung.
Da Agenten routinemäßig externe Inhalte – etwa E-Mails, Chatnachrichten, Dokumente und API-Antworten – verarbeiten, besteht das Risiko, dass manipulierte oder bösartige Eingaben Systemaktionen auf privilegierter Ebene direkt beeinflussen könnten.
Ohne Schutzmaßnahmen könnte ein Agent externe Inhalte in privilegierte Vorgänge übersetzen, etwa Datensätze ändern, Finanztransaktionen auslösen oder auf sensible Systeme zugreifen, ohne ausreichende Validierung.
Wirksame Governance erfordert Richtliniendurchsetzung zwischen dem, was ein Agent liest, und dem, was er ausführen darf.
Organisationen prüfen verschiedene Ansätze, um diese Vertrauensgrenze zu verwalten.
Eine Methode ist die Aufsicht durch Menschen im oder über den Regelkreis bei Aktionen mit hoher Auswirkung, damit kritische Vorgänge vor oder während der Ausführung überprüft werden.
Ein weiterer Ansatz sind Richtlinien-Engines, die kontextbezogene Prüfungen durchführen – etwa von Datenempfindlichkeit, Benutzerrolle, Umgebungsbedingungen oder Anzeichen für Anomalien –, bevor sie eine Aktion zulassen.
Fortschrittlichere Implementierungen integrieren überwachende oder schützende Agenten, die das Laufzeitverhalten kontinuierlich überwachen, Leitplanken durchsetzen und eingreifen, wenn Aktivitäten von festgelegten Richtlinien abweichen.
Diese Systeme können als automatisierte Wächter fungieren, den Bedarf an manueller Prüfung verringern und zugleich die Kontrolle im großen Maßstab aufrechterhalten.
Das übergeordnete Ziel besteht darin, direkte, ungefilterte Wege von nicht vertrauenswürdigen Eingaben zu Vorgängen mit hoher Auswirkung zu verhindern und Vertrauensgrenzen in autonomen KI-Workflows zu stärken.
Minimale Berechtigungen und minimale Autonomie
So wie moderne Identitäts- und Zugriffsmanagement-Programme auf dem Prinzip der geringstmöglichen Berechtigungen beruhen, muss die Governance agentenbasierter KI dieselbe Disziplin auf autonome Systeme anwenden.
Agenten sollten eng begrenzte Berechtigungen erhalten, die strikt auf ihre definierte Rolle und den vorgesehenen Anwendungsfall abgestimmt sind.
Der Zugriff auf Datenbestände, APIs, Finanzsysteme oder Verwaltungstools sollte ausdrücklich autorisiert und begrenzt werden, statt weitreichend vererbt zu werden.
Ein häufiges Risiko entsteht, wenn Agenten die Berechtigungen hochprivilegierter Benutzer erben. Delegiert eine Führungskraft oder ein Administrator einem Agenten uneingeschränkten Zugriff, arbeitet dieser effektiv mit erweiterten Befugnissen über mehrere Systeme hinweg.
In solchen Szenarien könnten eine Fehlkonfiguration, eine Prompt-Injection oder eine bösartige Eingabe unbeabsichtigte Aktionen mit unternehmensweiten Folgen auslösen.
Eine strikte Begrenzung von Anmeldedaten, Dienstkonten und API-Token reduziert den Schadensradius, wenn sich ein Agent unerwartet verhält oder kompromittiert wird.
Über die Zugriffskontrolle hinaus entwickelt sich Governance weiter, um auch den Grad der einem Agenten gewährten Autonomie zu berücksichtigen.
Daraus ist das aufkommende Konzept der möglichst restriktiven Autonomie entstanden.
Nicht jeder Anwendungsfall erfordert, dass ein Agent ohne Aufsicht unabhängig handelt.
Governance-Frameworks sollten akzeptable Autonomiestufen anhand von Risikosensitivität, regulatorischer Belastung und betrieblicher Auswirkung definieren.
Aufgaben mit geringem Risiko können höhere Unabhängigkeit erlauben, während Workflows mit hoher Auswirkung – etwa Finanzfreigaben, die Vergabe von Zugriffsrechten oder Datenänderungen – möglicherweise eine stufenweise Eskalation, eine Validierung durch die Aufsicht oder Laufzeitbeschränkungen erfordern.
Indem Organisationen sowohl Berechtigungen als auch Autonomiestufen an klar definierten Geschäftsrollen und Risikoschwellen ausrichten, können sie Nutzen und Kontrolle besser ausbalancieren.
Wirksame Governance stellt sicher, dass Agenten über genügend Befugnisse verfügen, um produktiv zu sein, aber nicht über so viele, dass ein einzelner Fehler kritische Systeme übergreifend beeinträchtigt.
Beobachtbarkeit und Auditierbarkeit
Agentenbasierte Systeme übernehmen eine zentrale Eigenschaft großer Sprachmodelle (LLMs): Nichtdeterminismus.
Derselbe Prompt kann unter leicht veränderten Kontextbedingungen unterschiedliche Ausgaben oder Entscheidungen hervorbringen.
Diese Flexibilität ermöglicht zwar Anpassungsfähigkeit und Problemlösung, führt aber auch zu Unvorhersehbarkeit.
Wenn Agenten zum Handeln autorisiert sind – statt lediglich Antworten zu generieren –, steigt dadurch die Bedeutung von Beobachtbarkeit und Kontrolle.
Damit Governance wirksam ist, müssen Organisationen über oberflächliches Monitoring hinausgehen und eine tiefgreifende Sichtbarkeit des Agentenverhaltens schaffen.
Dazu gehören eine umfassende Protokollierung von Tool-Aufrufen, API-Aufrufen und Zugriffsversuchen auf Systeme sowie klare Aufzeichnungen darüber, auf welche Daten zugegriffen und welche Aktionen ausgeführt wurden.
Audit-Trails sind ebenso entscheidend: Sicherheitsteams müssen den Entscheidungsweg rekonstruieren können, der zu einer bestimmten Aktion geführt hat – einschließlich der kontextbezogenen Eingaben, der Zwischenschritte der Schlussfolgerung und der zur Laufzeit angewandten Richtlinienprüfungen.
Die Sichtbarkeit zur Laufzeit ermöglicht es Organisationen, Anomalien wie ungewöhnliche Rechteausweitungen, übermäßiges Abrufen von Daten oder die unerwartete Ausführung von Workflows zu erkennen.
Inline-Kontrollen – etwa automatisierte Richtliniendurchsetzung, Anomalieschwellenwerte oder Notausschalter – ermöglichen es, verdächtige Aktivitäten anzuhalten oder unter Quarantäne zu stellen, bevor sie sich auf Systeme ausbreiten.
Ohne diese Fähigkeiten wird die Incident Response deutlich schwieriger. Untersuchungen verfügen möglicherweise nicht über genügend Kontext, um festzustellen, ob ein Agent richtlinienkonform gehandelt, auf eine bösartige Eingabe reagiert oder sich von seiner vorgesehenen Konfiguration entfernt hat.
In regulierten Umgebungen können unzureichende Protokollierung und Rückverfolgbarkeit außerdem Compliance-Bemühungen und die Audit-Bereitschaft beeinträchtigen.
Eine robuste Beobachtbarkeit ist daher nicht bloß eine technische Verbesserung, sondern eine grundlegende Voraussetzung für eine verantwortbare und vertrauenswürdige Governance agentenbasierter KI.
So können Organisationen die Governance agentenbasierter KI in den Betrieb überführen
Agentenbasierte KI sollte als Kerninfrastruktur gesteuert werden – nicht als experimentelle Funktion, die bestehenden Systemen aufgesetzt wird.
In der Praxis funktionieren autonome Agenten eher wie Identitätsplattformen, Dienstkonten oder Automatisierungs-Engines als wie herkömmliche Anwendungen.
Sie verfügen über Anmeldedaten, interagieren mit mehreren Systemen und führen Aktionen aus, die den Geschäftsbetrieb erheblich beeinflussen können. Daher muss Governance in ihren gesamten betrieblichen Lebenszyklus eingebettet werden.
Eine wirksame Aufsicht beginnt mit einem formalen Lebenszyklusmanagement.
Dazu gehören strukturierte Bereitstellungsprozesse, klar definierte Zuständigkeiten, dokumentierte Konfigurationsstandards und sichere Verfahren zur Stilllegung ausgemusterter Agenten.
Agenten sollten weder ad hoc bereitgestellt noch ohne Überprüfung unbegrenzt weiterbetrieben werden.
Der laufende Betrieb sollte kontinuierliche Überwachung und aktive Richtliniendurchsetzung umfassen, damit Agenten auch bei ihrer Weiterentwicklung innerhalb der festgelegten Verhaltens- und Zugriffsgrenzen bleiben.
Governance muss agentenbasierte Systeme außerdem in bestehende Unternehmenskontrollen integrieren.
Dazu gehören Prozesse für das Schwachstellenmanagement zur Bewältigung von Abhängigkeitsrisiken, Compliance-Frameworks zur Unterstützung von Audit-Anforderungen und Änderungsmanagementverfahren zur Überprüfung von Konfigurationsaktualisierungen und Berechtigungszuweisungen.
Jede Änderung am Zugriffsumfang, am Autonomieniveau oder an den Systemintegrationen eines Agenten sollte derselben Prüfung unterliegen wie Änderungen an Identitäten oder Infrastruktur.
Kontrollen, die sich für jede Aktion ausschließlich auf manuelle Genehmigungen stützen, lassen sich in Umgebungen, in denen Agenten kontinuierlich und mit hoher Geschwindigkeit arbeiten, nicht skalieren.
Stattdessen benötigen Organisationen automatisierte Leitplanken – Richtlinien-Engines, Systeme zur Anomalieerkennung und Mechanismen zur Durchsetzung von Richtlinien zur Laufzeit –, die sich an dauerhaft laufende Agenten anpassen können, ohne betriebliche Engpässe zu schaffen.
Für Organisationen, die mit der Einführung agentenbasierter KI beginnen, sollte Governance vor der Expansion etabliert werden.
Das bedeutet, Autonomiegrenzen frühzeitig zu definieren, von Anfang an Sichtbarkeit zur Laufzeit zu schaffen und Agenten in Frameworks für Identitäts-, Zugriffs- und Risikomanagement zu integrieren.
Governance in die Grundlage der Bereitstellung einzubauen – statt Kontrollen erst nach der Skalierung nachzurüsten – ist entscheidend, damit agentenbasierte KI den Betrieb verbessert, ohne unkontrollierte Risiken einzuführen.
Agentenbasierte KI sicher skalieren
Je stärker agentenbasierte KI in zentrale Geschäfts-Workflows integriert wird, desto wichtiger wird Governance dafür, wie wirksam Organisationen die damit verbundenen Risiken managen.
Die frühzeitige Festlegung klarer Richtliniengrenzen, von Sichtbarkeit zur Laufzeit und angemessen begrenzter Berechtigungen kann eine sichere und skalierbare Einführung unterstützen.
Wer agentenbasierte KI mit derselben betrieblichen Disziplin behandelt wie Identitäts-, Automatisierungs- und Cloud-Plattformen, ermöglicht es Sicherheitsverantwortlichen, Innovation und Verantwortlichkeit aufeinander abzustimmen.
ist für die Aufrechterhaltung von Vertrauen und Stabilität in autonomen KI-Umgebungen unerlässlich.