Proofpoint-Forscher stellten fest dass Cyberkriminelle Tools entwickeln und verkaufen, die dazu dienen, schädliche Anweisungen in E-Mails, Dokumenten, Kalendereinladungen und Webseiten zu verbergen, die KI-Systeme routinemäßig verarbeiten.
Dadurch könnten Angreifer KI-Agenten manipulieren, ohne dass eine direkte Interaktion mit dem Benutzer erforderlich ist.
„Diese Anzeigen und Diskussionen geben Einblick in neuartige Techniken, mit denen Unternehmen in den kommenden Monaten wahrscheinlich konfrontiert werden, etwa IDPI in Kalendereinladungen und als Bestandteil von Angriffsketten mit Malvertising“, erklärten die Forscher in ihrer Analyse.
Die wichtigsten Erkenntnisse aus den Prompt-Injection-Ergebnissen
- Cyberkriminelle entwickeln und verkaufen IDPI-Tools, die über E-Mails, Dokumente, Kalendereinladungen und Webseiten auf KI-Systeme abzielen.
- IDPI kann KI-Agenten bei der Verarbeitung externer Inhalte manipulieren, möglicherweise ohne direkte Interaktion mit dem Benutzer.
- Bedrohungsakteure testen IDPI in Phishing-Angriffen, schädlichen Dokumenten, Kalendereinladungen und Malvertising, obwohl bislang keine breit angelegte Ausnutzung beobachtet wurde.
- Unternehmen sollten die Berechtigungen von KI-Agenten beschränken, ihre Aktivitäten überwachen, sensible Aktionen kontrollieren und Pläne zur Reaktion auf Sicherheitsvorfälle für Szenarien mit Prompt Injection testen.
Die wachsende Bedrohung durch indirekte Prompt Injection
Proofpoint berichtet, dass indirekte Prompt Injection (IDPI) in Untergrundforen der Cyberkriminalität zunehmend Aufmerksamkeit erhält. Dort entwickeln, testen und bewerben Bedrohungsakteure Tools, die auf KI-Systeme abzielen.
Einige abonnementbasierte Angebote beginnen Berichten zufolge bei etwa 150 US-Dollar pro Monat und umfassen Generatoren für schädliche E-Mails, PDFs, Kalendereinladungen und Webseiten.
Das Aufkommen dieser Dienste deutet darauf hin, dass Cyberkriminelle allmählich ausloten, wie sich IDPI in Tools verpacken und in bestehende Angriffsketten integrieren lässt.
So funktioniert indirekte Prompt Injection
Prompt-Injection-Angriffe lassen sich im Allgemeinen in zwei Kategorien einteilen.
Eine direkte Prompt Injection liegt vor, wenn ein Benutzer einem KI-Modell direkt eine Eingabe liefert, die dazu führt, dass es sich unbeabsichtigt oder unerwartet verhält.
Bei einer indirekten Prompt Injection sind schädliche Anweisungen in externe Inhalte eingebettet, die ein KI-System später verarbeitet, etwa in eine E-Mail, ein Dokument, eine Kalendereinladung oder eine Webseite.
Warum KI-Agenten gefährdet sind
Dieser Unterschied ist relevant, da Unternehmen KI-Agenten zunehmend Zugriff auf Geschäftsanwendungen, Unternehmensdaten und automatisierte Workflows gewähren.
Im Gegensatz zu herkömmlichem Phishing muss ein IDPI-Angriff möglicherweise nicht davon abhängen, dass ein Mitarbeiter auf einen schädlichen Link klickt oder den Anweisungen eines Angreifers folgt.
Ein KI-Agent könnte bei einer Routineaufgabe auf den schädlichen Prompt stoßen, etwa beim Zusammenfassen einer E-Mail, Prüfen eines Dokuments, Verarbeiten einer Besprechungseinladung oder Aufrufen einer Webseite.
Verfügt der Agent über ausreichende Berechtigungen, könnte ein Angreifer sein Verhalten möglicherweise manipulieren, um auf vertrauliche Informationen zuzugreifen oder nicht autorisierte Aktionen auszuführen.
Laut Proofpoint experimentieren Bedrohungsakteure derzeit mit mehreren Methoden zur Verbreitung von IDPI.
E-Mail-basierte Angriffe
E-Mail-basierte Angriffe können schädliche Anweisungen mithilfe von Text verbergen, dessen Farbe dem Hintergrund der Nachricht entspricht.
Die E-Mail kann dem Empfänger harmlos erscheinen, während ein KI-Assistent, der den Inhalt verarbeitet, den versteckten Prompt dennoch erkennen und interpretieren könnte.
Angriffe über PDFs und Dokumente
Angriffe über PDFs und Dokumente betten Anweisungen mithilfe von Techniken wie verstecktem Text oder eingebetteten Elementen in Anhänge ein.
Proofpoint beobachtete Tests mit einem PDF, das Anweisungen enthielt, die einen KI-Agenten dazu bringen sollten, XLSX-Dateien zu finden und zu übermitteln.
Diese Techniken sollen Anweisungen dort platzieren, wo ein KI-System sie verarbeiten kann, selbst wenn sie bei der normalen Anzeige des Dokuments übersehen werden.
Angriffe über Kalendereinladungen
Angriffe über Kalendereinladungen platzieren schädliche Prompts in Besprechungseinladungen, auch in Inhalten, die als Teil einer Tagesordnung präsentiert werden.
Ein KI-Assistent, der die Einladung zusammenfassen soll, könnte die Anweisungen verarbeiten, ohne dass der Empfänger bewusst mit ihnen interagiert.
Die Technik baut auf dem bereits bestehenden Missbrauch von Kalendereinladungen für Phishing durch Angreifer auf, verlagert das Angriffsziel jedoch teilweise vom Mitarbeiter auf das KI-System, das die Einladung verarbeitet.
Malvertising und Angriffe über schädliche Webseiten
Malvertising und Angriffe über schädliche Webseiten könnten KI-Agenten mit Prompts konfrontieren, die in Anzeigen oder Website-Inhalte eingebettet sind.
Angreifer untersuchen Methoden wie das Platzieren von Anweisungen in HTML, extrem klein dargestelltem Text, versteckten Seitenelementen oder alternativem Bildtext, der möglicherweise von einem KI-Agenten verarbeitet wird, selbst wenn er für menschliche Besucher nicht ohne Weiteres sichtbar ist.
Laut den Forschern wurden diese Techniken bislang nicht breitflächig ausgenutzt, und mehrere befinden sich noch im experimentellen Stadium.
Die Entwicklung und der Verkauf spezieller IDPI-Tools markieren jedoch eine wichtige Verschiebung: weg von weitgehend hypothetischen Angriffsszenarien hin zu praktischen Experimenten durch Cyberkriminelle.
Da KI-Agenten zunehmend in Unternehmenssysteme integriert werden, sollten sich Unternehmen darauf vorbereiten, dass Angreifer IDPI in Angriffskampagnen integrieren.
Das Risiko indirekter Prompt Injection reduzieren
Unternehmen, die KI-Agenten einsetzen, sollten davon ausgehen, dass Inhalte außerhalb ihrer Umgebung gegnerische Anweisungen enthalten können.
- Berechtigungen der Agenten beschränken indem sie KI-Agenten nur den für ihre vorgesehenen Aufgaben erforderlichen Zugriff und die entsprechenden Berechtigungen gewähren.
- Vertrauenswürdige Anweisungen von externen Inhalten trennen indem E-Mails, Dokumente, Webseiten und Kalendereinladungen als nicht vertrauenswürdige Eingaben behandelt werden.
- Genehmigung für sensible Aktionen verlangen etwa für das Versenden von Dateien, Ändern von Berechtigungen, Löschen von Daten oder Einleiten externer Übertragungen.
- Externe Kommunikation kontrollieren indem der Zugriff von KI-Agenten auf genehmigte Domains, APIs, Anwendungen und Filesharing-Dienste beschränkt wird.
- Überwachen Sie die Aktivität der Agenten auf ungewöhnliche Dateizugriffe, ausgehende Verbindungen, Datenübertragungen, Tool-Nutzung und automatisierte Aktionen.
- Sensible Daten schützen durch Segmentierung und Data-Loss-Prevention-(DLP)-Kontrollen, die den Zugriff und die Übermittlungsmöglichkeiten von KI-Agenten beschränken.
- Testen Sie Pläne zur Reaktion auf Sicherheitsvorfälle und nutzen Sie Tools zur Angriffssimulation mit Szenarien zu Prompt Injection und anderen KI-gestützten Angriffen.
In ihrer Gesamtheit können diese Maßnahmen Unternehmen dabei helfen, ihre allgemeine Angriffsfläche zu reduzieren und ihre Widerstandsfähigkeit zu stärken.
Fazit
Die unmittelbarere Sorge besteht darin, wie schnell IDPI in Angriffsketten operationalisiert werden könnte, die Sicherheitsteams bereits verwalten.
Da Untergrund-Tools die Einstiegshürden senken, sollten Unternehmen prüfen, ob bestehende Kontrollen schädliche Anweisungen erkennen und eindämmen können, die auf KI-Agenten abzielen.
Sie sollten außerdem bewerten, ob die aktuelle Telemetrie genügend Einblick bietet, um Agenten zu untersuchen, die beginnen, außerhalb ihres vorgesehenen Aufgabenbereichs zu agieren.
Ein Zero-Trust-Ansatz kann Unternehmen helfen, einen Teil dieses Risikos zu reduzieren, indem Zugriffe kontinuierlich überprüft und die Berechtigungen von KI-Agenten in Unternehmenssystemen und -daten beschränkt werden.