Checkliste für die Sicherheit von KI-Agenten

Da Unternehmen zunehmend KI-Agenten einsetzen, um Workflows zu automatisieren, Daten zusammenzufassen und die Entscheidungsfindung zu unterstützen, stehen Sicherheits- und Governance-Teams vor einer neuen Herausforderung: Wie lassen sich KI-Systeme sicher einführen, ohne unkontrollierte Risiken zu schaffen? 

Im Gegensatz zu herkömmlichen SaaS-Tools können KI-Agenten Daten dynamisch interpretieren, generieren und verarbeiten – oft über mehrere Systeme hinweg. Dadurch werden Aufsicht, eine klare Eingrenzung des Aktionsradius und Governance unerlässlich.

Diese Checkliste soll IT-, Sicherheits-, Compliance- und Risikoverantwortlichen dabei helfen, KI-Agenten vor der Einführung zu bewerten. 

Sie geht über den Hype hinaus und konzentriert sich auf praxisnahe Kontrollen, die operative, regulatorische und Reputationsrisiken verringern.

1. Kontrollen für Datensicherheit und Datenschutz

KI-Systeme sind nur so sicher wie die Daten, auf die sie zugreifen und die sie verarbeiten. Vor der Aktivierung eines KI-Agenten müssen Organisationen verstehen, wie Daten in das System hinein-, durch das System hindurch- und aus ihm herausfließen.

Datenverarbeitung und -speicherung

Zu den zentralen Fragen gehören:

• Werden Kunden- oder interne Daten zum Training externer Modelle verwendet?
• Gibt es eine klare Richtlinie zur Aufbewahrung und Löschung von Daten?
• Werden Prompts und Ausgaben gespeichert? Falls ja, wie lange?
• Werden Daten verschlüsselt übertragen und im Ruhezustand?
• Sind Protokolle revisionssicher prüfbar?

Viele KI-Risiken entstehen durch unklare Richtlinien zur Datennutzung. Wenn Prompts oder Ausgaben auf unbestimmte Zeit gespeichert werden, können vertrauliche Informationen länger als beabsichtigt erhalten bleiben. 

Die Verschlüsselung bei der Übertragung und im Ruhezustand sollte Standard sein, und Audit-Protokolle müssen die Nachverfolgung von durch KI erzeugten Aktionen ermöglichen. 

Organisationen sollten außerdem prüfen, ob Daten zum erneuten Training von Basismodellen verwendet werden, da dies Compliance- und Vertraulichkeitsprobleme verursachen kann.

Zugriffskontrollen

• Ist der Zugriff rollenbasiert (RBAC)?
• Können Administratoren einschränken, auf welche Daten die KI zugreifen darf?
• Ist der Zugriff der KI auf den Kontext einzelner Entitäten begrenzt oder erstreckt er sich auf das gesamte System?
• Wird SSO durchgesetzt?

Ein auf einzelne Entitäten begrenzter Zugriff verringert das Risiko einer übermäßigen Datenoffenlegung. KI-Agenten sollten nicht standardmäßig Zugriff auf die gesamte Wissensbasis erhalten, wenn nur bestimmte Datensätze benötigt werden. 

Eine starke Identitätsintegration (z. B. SSO, RBAC, bedingter Zugriff usw.) stellt sicher, dass die KI-Funktionen an bestehende Richtlinien zum Prinzip der geringsten Rechte angepasst sind.

2. Governance mit menschlicher Beteiligung

KI sollte die menschliche Entscheidungsfindung ergänzen – nicht die Verantwortung ersetzen.

Entscheidungskontrolle

• Nimmt die KI selbstständig Änderungen vor?
• Oder liefert sie Empfehlungen zur menschlichen Genehmigung?
• Können Ausgaben bearbeitet, abgelehnt oder ignoriert werden?
• Ist nachvollziehbar, welche Entscheidungen mithilfe von KI-Ausgaben getroffen wurden?

Für risikoreiche Aktionen (z. B. Compliance-Entscheidungen, finanzielle Änderungen, die Durchsetzung von Richtlinien usw.) sollte eine menschliche Genehmigung erforderlich sein. 

Es müssen klare Prüfpfade vorhanden sein, aus denen hervorgeht, ob Entscheidungen von der KI erzeugt, von Menschen bearbeitet oder vollständig manuell getroffen wurden. Die Möglichkeit zur Übersteuerung durch Menschen ist entscheidend, um zu verhindern, dass sich Automatisierungsfehler fortsetzen.

3. Kontrollen für Genauigkeit, Evaluierung und Halluzinationen

KI-Systeme können fehlerhafte oder erfundene Ausgaben erzeugen (z. B. Halluzinationen), insbesondere wenn der Kontext unvollständig ist.

Modellzuverlässigkeit

• Gibt es messbare Genauigkeits-Benchmarks?
• Sind die Ausgaben im unternehmensspezifischen Kontext verankert?
• Werden Quellenangaben oder Begründungen bereitgestellt?
• Gibt es eine Feedbackschleife?

Vertrauenswürdige KI erfordert eine Verankerung im Kontext, klar definierte Evaluierungsdatensätze und Erklärbarkeit. 

Anbieter sollten messbare Genauigkeits-Benchmarks veröffentlichen und darlegen, wie Ausgaben validiert werden. 

Feedbackschleifen ermöglichen es Organisationen, die Modellleistung im Laufe der Zeit zu verbessern, statt ein unverändertes Verhalten hinzunehmen.

4. Kontextuelle Grenzen und Datenumfang

Klare Datengrenzen verhindern unbeabsichtigte Überschreitungen.

Kontextisolierung

• Kann die KI nur auf bestimmte Dokumente zugreifen?
• Wird die Vermischung von Daten verschiedener Entitäten kontrolliert?
• Sind nicht unterstützte Datentypen dokumentiert?
• Ist transparent, welche Daten die KI „sieht“?

Organisationen müssen verstehen, welche Daten für die KI sichtbar sind. Die Vermischung von Daten verschiedener Entitäten (z. B. zwischen Geschäftsbereichen oder Kunden) führt zu rechtlichen und datenschutzbezogenen Risiken. Transparenz über den Datenumfang verhindert eine versehentliche missbräuchliche Nutzung.

5. Compliance und regulatorische Bereitschaft

KI-Governance wird zu einem Bestandteil souveräner KI-Strategien und zu einer regulatorischen Erwartung.

Governance-Standards

• Ist der Anbieter ISO 42001-konform?
• Unterstützt er SOC-2- und ISO-27001-Audits?
• Sind KI-spezifische Risiken dokumentiert?
• Ist Erklärbarkeit für Audits verfügbar?

Standards wie ISO 42001 formalisieren die KI-Governance. Anbieter sollten Dokumentation bereitstellen, die regulatorische Prüfungen und Compliance-Audits unterstützt. Erklärbare Ausgaben sind in regulierten Branchen besonders wichtig.

6. Operative Kontrollen und Reaktion auf Vorfälle

Ausfälle von KI-Systemen sollten wie jeder andere Vorfall in der Produktionsumgebung behandelt werden.

Risikominderung

• Gibt es einen dokumentierten Reaktionsplan für KI-Vorfälle?
• Können KI-Funktionen sofort deaktiviert werden?
• Werden Prompts zur forensischen Untersuchung protokolliert?
• Ist eine Nachverfolgung der Modellversionen möglich?

Organisationen müssen in der Lage sein, KI-Funktionen bei unerwartetem Verhalten schnell abzuschalten. Die Nachverfolgung von Versionen stellt sicher, dass Änderungen im Modellverhalten bestimmten Aktualisierungen zugeordnet werden können.

7. Änderungsmanagement und sichere Einführung

Die Einführung von KI sollte etablierten Verfahren des Änderungsmanagements folgen.

Kontrollierte Einführung

• Wird die KI hinter Feature-Flags eingeführt?
• Kann die Einführung auf bestimmte Benutzer beschränkt werden?
• Können benutzerdefinierte Workflows aktiviert oder deaktiviert werden?
• Gibt es eine Sandbox- oder Beta-Umgebung?

Eine schrittweise Einführung verringert das Risiko. Das Testen von KI in begrenzten Umgebungen hilft, Lücken in Workflows zu erkennen, bevor die gesamte Organisation betroffen ist.

8. Leitplanken für Anwendungsfälle

Nicht alle KI-Anwendungsfälle sind mit dem gleichen Risiko verbunden.

Genehmigte und eingeschränkte Nutzung

• Sind genehmigte Anwendungsfälle definiert?
• Sind risikoreiche Anwendungsfälle eingeschränkt?
• Sind Leitlinien für Mitarbeitende dokumentiert?
• Wird die Nutzung protokolliert?

KI sollte keine unbeaufsichtigte Rechtsberatung, keine Compliance-Freigaben und keine Entscheidungsbefugnis in Finanzfragen erteilen. Klare Leitplanken verhindern Missbrauch und verringern das Auditrisiko.

9. Checkliste für die Transparenz von Anbietern

Fragen Sie Ihren Anbieter:

• Welchen LLM-Anbieter verwenden Sie?
• Verwenden Sie Kundendaten zum Training?
• Wie sieht Ihre Strategie zur Eindämmung von Halluzinationen aus?
• Welche Genauigkeits-Benchmarks veröffentlichen Sie?
• Welche Zertifizierungen besitzen Sie?
• Wie isolieren Sie Kundenumgebungen?
• Wie schnell können Sie KI-Funktionen deaktivieren?

Transparenz seitens des Anbieters hilft, das Drittrisiko zu verringern.

10. Strategische Frage für die IT-Leitung

Ein KI-Kollege sollte:

• Die Audit-Bereitschaft verbessern
• Manuelle Fehler reduzieren
• Erklärbare Ausgaben bereitstellen
• Menschliche Aufsicht gewährleisten
• Sich an Governance-Frameworks ausrichten

Er sollte nicht:

• Als unkontrollierte Blackbox agieren
• Auf übermäßig viele Daten zugreifen
• Unwiderrufliche autonome Änderungen vornehmen
• Audit-Blindstellen schaffen

Abschließende Empfehlung

Bevor Sie Claude – oder irgendeinen KI-Kollegen – freigeben, sollten IT- und Sicherheitsteams Folgendes verlangen:

• Eine formelle Sicherheitsprüfung
• Einen Zusatz zur Datenverarbeitung
• Eine kontrollierte Pilotbereitstellung
• Einen definierten Workflow für menschliche Genehmigungen
• Eine dokumentierte KI-Governance-Richtlinie

KI-Agenten können operative Effizienz und Entscheidungsunterstützung bieten, aber nur, wenn sie innerhalb klar definierter Leitplanken eingesetzt werden. 

Mit zunehmender Verbreitung von KI wird eine disziplinierte Governance – nicht unkontrollierte Automatisierung – darüber entscheiden, ob diese Tools zu Vorzügen oder zu Belastungen werden.