Ein KI-Assistent könnte sensible Unternehmensdaten allein dadurch offenlegen, dass er eine bösartige E-Mail liest, eine PDF-Datei öffnet oder eine Kalendereinladung verarbeitet.
Das ist die Gefahr hinter indirekten Prompt-Injection-Angriffen: Sie ermöglichen es Angreifern, bösartige Anweisungen in scheinbar harmlosen Inhalten zu verbergen, auf die KI-Systeme bei alltäglichen Aufgaben stoßen. Auch Webseiten und Kalenderanwendungen können zur Übermittlung dieser Angriffe verwendet werden.
Die Risiken steigen, da Unternehmen KI-Agenten größeren Zugriff auf vertrauliche Informationen und Unternehmensanwendungen gewähren. Wenn ein Agent den verborgenen Anweisungen eines Angreifers folgt, könnte er vertrauliche Dateien abrufen, Unternehmensdaten preisgeben oder nicht autorisierte Aktionen ausführen – möglicherweise ohne dass ein Mitarbeiter etwas bemerkt.
Für Sicherheitsteams ist die Herausforderung dringlich: zu erkennen, wo KI-Agenten auf nicht vertrauenswürdige Inhalte stoßen, den Zugriff dieser Agenten zu beschränken und zu verhindern, dass eine Routineaufgabe zu einem Sicherheitsvorfall wird.
Was ist indirekte Prompt Injection?
Prompt-Injection-Angriffe lassen sich im Allgemeinen in zwei Kategorien einteilen:
- Direkte Prompt Injection: Angreifer übermitteln bösartige Anweisungen direkt über die Eingabeschnittstelle eines KI-Systems.
- Indirekte Prompt Injection: Angreifer betten bösartige Anweisungen in externe Inhalte ein, auf die ein KI-System bei der Ausführung einer legitimen Aufgabe stößt.
Indirekte Prompt Injection zielt darauf ab, KI-Systeme dazu zu bringen, Anweisungen aus nicht vertrauenswürdigen Quellen statt aus ihren autorisierten Befehlen zu befolgen. Diese Angriffe können erfolgen, ohne dass Angreifer direkt mit dem angegriffenen KI-System interagieren.
Beispielsweise könnte ein KI-Assistent, der ein Dokument zusammenfasst, auf Anweisungen stoßen, die ihn auffordern, interne Finanzunterlagen abzurufen. Folgt der Agent diesen Anweisungen und verfügt er über ausreichende Berechtigungen, könnte er versuchen, die Informationen an ein nicht autorisiertes Ziel zu übermitteln.
Das Auftreten bösartiger Inhalte führt jedoch nicht zwangsläufig zu einem erfolgreichen Angriff. Das Ergebnis hängt davon ab, wie das KI-System mit nicht vertrauenswürdigen Anweisungen umgeht und welche Aktionen es ausführen darf.
Häufige Arten indirekter Prompt-Injection-Angriffe
Angreifer können bösartige Anweisungen in Inhalten verbergen, die KI-Systeme bei Routineaufgaben verarbeiten. Diese Angriffe können sich über verschiedene Arten externer Inhalte gegen KI-Assistenten und -Agenten richten.
E-Mail-basierte Angriffe
Angreifer können bösartige Anweisungen in E-Mails verbergen, die KI-Assistenten lesen oder zusammenfassen. Eine Technik besteht darin, die Textfarbe an den Hintergrund der Nachricht anzupassen. Dadurch sind die Anweisungen für menschliche Leser schwer zu erkennen, bleiben für KI-Systeme aber möglicherweise zugänglich.
Angriffe über PDFs und Dokumente
PDF-Dateien und andere Dokumente können verborgene Anweisungen enthalten, die KI-Agenten manipulieren sollen. Folgt ein Agent diesen Befehlen, könnte er vertrauliche Informationen abrufen oder Aktionen außerhalb seiner autorisierten Aufgaben ausführen.
Angriffe über Kalendereinladungen
Angreifer können bösartige Prompts in Beschreibungen von Kalendereinladungen einbetten oder in Tagesordnungen von Besprechungen, um KI-Assistenten zu manipulieren. Folgt der Assistent diesen Anweisungen, könnte er nicht autorisierte Aktionen ausführen, ohne dass ein Mitarbeiter mit der Einladung interagieren muss.
Angriffe über bösartige Webseiten
Angreifer können bösartige Anweisungen in Webseiteninhalte einbetten oder in verborgene HTML-Elemente, um KI-Agenten anzugreifen. Auch der alternative Bildtext kann Prompts enthalten, die ein KI-Agent beim Browsen verarbeitet und die ihn möglicherweise dazu bringen, unbeabsichtigte Aktionen auszuführen.
Was die Forschung von Proofpoint über die Techniken der Angreifer zeigt
Proofpoint-Forscher berichteten im Juli 2026, dass Angreifer Tools für indirekte Prompt-Injection-Angriffe entwickelten und anboten.
Einige der beworbenen Dienste begannen Berichten zufolge bei etwa 150 US-Dollar pro Monat und boten Tools zum Erstellen bösartiger E-Mails und PDF-Dateien an. Andere Tools waren darauf ausgelegt, Kalendereinladungen und Webseiten anzugreifen.
Proofpoint dokumentierte außerdem Tests mit einer PDF-Datei, die Anweisungen enthielt, einen KI-Agenten dazu zu bringen, XLSX-Dateien zu suchen und zu übertragen.
Mehrere Techniken waren zum Zeitpunkt der Untersuchung noch experimentell, und Proofpoint hatte nicht festgestellt, dass diese Angriffe in großem Umfang ausgenutzt wurden.
So erkennen und verhindern Sie indirekte Prompt-Injection-Angriffe
Sicherheitsteams sollten die Aktivitäten von KI-Agenten auf Anzeichen nicht autorisierten Verhaltens überwachen. Unerwartete Dateizugriffe oder ausgehende Verbindungen können auf einen Angriff hindeuten, insbesondere wenn sie auftreten, nachdem ein Agent externe Inhalte verarbeitet hat.
Unternehmen können das Risiko indirekter Prompt Injection durch die Umsetzung der folgenden Maßnahmen verringern:
- Berechtigungen von Agenten beschränken: Den Zugriff auf die für die jeweiligen Aufgaben benötigten Anwendungen und Informationen begrenzen.
- Vertrauenswürdige Anweisungen von externen Inhalten trennen: Abgerufene Dokumente und Nachrichten als nicht vertrauenswürdige Daten behandeln und nicht als Befehle, denen der Agent folgen sollte.
- Genehmigung für sensible Aktionen verlangen: Autorisierungsprüfungen erzwingen, bevor Agenten vertrauliche Dateien übertragen oder andere Vorgänge mit weitreichenden Auswirkungen ausführen.
- Externe Kommunikation kontrollieren: Die Verbindungen von Agenten auf genehmigte Anwendungen und Ziele beschränken.
- Aktivitäten von Agenten überwachen: Relevante Inhaltsquellen und Tool-Aufrufe protokollieren, um Aktionen außerhalb autorisierter Workflows zu untersuchen.
- Sensible Informationen schützen: Kontrollen zur Verhinderung von Datenverlust (DLP) einsetzen, um nicht autorisierte Datenübertragungen zu erkennen und zu blockieren.
- Sicherheitskontrollen testen: Szenarien zur Prompt Injection in Übungen zur Reaktion auf Sicherheitsvorfälle einbeziehen, um zu prüfen, ob vorhandene Schutzmaßnahmen Angriffe erkennen und eindämmen können.
Sicherheitskontrollen sollten Zugriffsbeschränkungen für Agenten durchsetzen und Autorisierungsanforderungen unabhängig vom KI-Modell erzwingen. Prompt-Filter können einige bösartige Anweisungen erkennen, aber nicht jeden Angriff verhindern.
Fazit
Indirekte Prompt Injection stellt ein Sicherheitsrisiko dar, da Unternehmen KI-Agenten größeren Zugriff auf Geschäftssysteme gewähren. Selbst Routineaufgaben können dazu führen, dass Agenten bösartigen, in externen Inhalten verborgenen Anweisungen ausgesetzt sind.
Unternehmen sollten prüfen, über wie viel Handlungsspielraum ihre KI-Agenten verfügen und ob vorhandene Sicherheitskontrollen nicht autorisierte Aktionen verhindern können, wenn ein Agent manipuliert wird.
Weitere Hinweise finden Sie in unserer Checkliste zur Sicherheit von KI-Agenten zur Bewertung der erforderlichen Schutzmaßnahmen vor der Einführung von KI-Agenten.