Assistenten mit künstlicher Intelligenz (KI) werden rasch zu einem zentralen Bestandteil der Produktivität am Arbeitsplatz, doch neue Forschungsergebnisse legen nahe, dass sie auch einen bislang übersehenen Phishing-Angriffsvektor eröffnen können.
Forscher von Permiso stellten fest, dass von Angreifern kontrollierter Text in E-Mails Microsoft-Copilot-Zusammenfassungen durch Cross-Prompt-Injection-Angriffe (XPIA) manipulieren kann und dadurch möglicherweise täuschende Sicherheitswarnungen oder bösartige Prompts in die vertrauenswürdige KI-Oberfläche eingefügt werden.
„Das interessanteste Ergebnis war nicht, dass Copilot die Anweisungen des Angreifers befolgte. Entscheidend war, wie viel überzeugender die Ausgabe wurde, sobald sie in der Benutzeroberfläche des Assistenten erschien“, sagte Andi Ahmeti, Threat Researcher bei Permiso, in einer E-Mail an eSecurityPlanet.
Er fügte hinzu: „Nutzer haben jahrelang gelernt, verdächtigen E-Mails zu misstrauen, aber dieses Misstrauen überträgt sich nicht auf KI-generierte Zusammenfassungen. Der Angreifer muss den Assistenten lediglich dazu bringen, mit Autorität zu sprechen.“
Das Risiko von Prompt-Injection bei Copilot
KI-Assistenten wie Microsoft Copilot werden in Outlook, Microsoft Teams und anderen Microsoft-365-Diensten immer stärker in alltägliche Produktivitätsabläufe integriert.
Funktionen wie die E-Mail-Zusammenfassung ermöglichen es Mitarbeitern, lange Threads schnell zu erfassen, Antworten zu priorisieren und Kontext aus verwandten Dokumenten oder Gesprächen zu gewinnen.
Für Organisationen, die große Kommunikationsvolumen verwalten, können diese Tools die Effizienz steigern, indem sie den Zeitaufwand für die Prüfung von Nachrichten und die Abstimmung zwischen Teams reduzieren.
Wenn KI nicht vertrauenswürdige E-Mail-Inhalte verarbeitet
Dieser Komfort führt jedoch auch zu einer neuen Sicherheitsgrenze: KI-Systeme werden häufig aufgefordert, nicht vertrauenswürdige externe Inhalte zu interpretieren und zusammenzufassen, darunter von unbekannten oder möglicherweise bösartigen Akteuren versendete E-Mails.
Untersuchungen zum Verhalten von Copilot zeigen, dass in eine E-Mail eingebettete, von Angreifern kontrollierte Anweisungen mitunter beeinflussen können, wie der Assistent seine Zusammenfassung erstellt.
In bestimmten Fällen können diese Anweisungen die Ausgabe so steuern, dass irreführende oder bösartige Inhalte direkt in die Copilot-Oberfläche gelangen.
Wie Cross-Prompt-Injection KI-Zusammenfassungen beeinflusst
Dies stellt einen Wandel darin dar, wie Phishing-Angriffe in KI-gestützten Umgebungen funktionieren können. Traditionell setzten Phishing-Kampagnen auf gefälschte Nachrichten, bösartige Anhänge oder täuschende Links, die direkt in E-Mail-Inhalte eingebettet waren.
Mit KI-Assistenten im Arbeitsablauf könnten Angreifer stattdessen versuchen, die Stimme und Glaubwürdigkeit des Assistenten zu manipulieren und ihn dazu zu nutzen, Social-Engineering-Nachrichten zu übermitteln, die wie vom System generiert erscheinen.
Die Technik hinter dieser Manipulation wird als Cross-Prompt-Injection bezeichnet. Dabei beeinflussen in Inhalte eingebettete versteckte Anweisungen, wie ein Large Language Model diese Informationen verarbeitet oder zusammenfasst.
Wenn ein Nutzer Copilot in Outlook oder Teams auffordert, eine E-Mail zusammenzufassen, analysiert der Assistent den gesamten Nachrichtentext – einschließlich sämtlicher von einem Angreifer bereitgestellter Textpassagen.
Interpretiert das Modell diesen Text als Anweisung und nicht lediglich als Inhalt, kann es die generierte Zusammenfassung entsprechend verändern.
Unterschiede zwischen den Copilot-Oberflächen
Die Forscher untersuchten drei gängige Copilot-Oberflächen, die zum Zusammenfassen von E-Mail-Inhalten verwendet werden: die Outlook-Schaltfläche „Zusammenfassen“, den Outlook-Copilot-Chatbereich und Copilot in Microsoft Teams.
Obwohl diese Funktionen aus Nutzersicht ähnlich wirken, zeigte der Test, dass jede Oberfläche ein etwas anderes Sicherheitsverhalten aufwies.
In einigen Fällen erkannte die integrierte Zusammenfassungsfunktion von Outlook verdächtige Anweisungen und verweigerte die Erstellung einer Zusammenfassung – ein Hinweis darauf, dass Schutzmechanismen ausgelöst wurden.
In anderen Szenarien – insbesondere wenn E-Mails längere, realistischere Inhalte enthielten – waren die Antworten weniger vorhersehbar. Einige Zusammenfassungen wurden normal erstellt, während andere Fragmente der eingeschleusten Anweisungen enthielten.
Die Copilot-Oberfläche von Teams zeigte im Test die höchste Wahrscheinlichkeit, von Angreifern bereitgestellte Inhalte zu reproduzieren.
In diesen Fällen erstellte der Assistent eine normal wirkende Zusammenfassung, fügte jedoch zusätzlichen Text an, der durch die in der E-Mail eingebetteten versteckten Anweisungen beeinflusst war.
Wenn KI-Zusammenfassungen zum Phishing-Kanal werden
In einem Szenario betteten Angreifer versteckte Anweisungen in eine E-Mail ein, die Copilot dazu veranlassten, Warnungen im Phishing-Stil – etwa „Aktion erforderlich“ oder „Sicherheitswarnung“ – direkt in die KI-generierte Zusammenfassung einzufügen.
Die Warnung konnte den Nutzer auffordern, Kontoaktivitäten zu überprüfen oder seine Identität zu sichern, oft begleitet von einem Link oder einer Schaltfläche, die zum sofortigen Handeln aufforderte.
Da die Nachricht innerhalb eines von Copilot generierten Zusammenfassungsbereichs erscheint, kann sie wie eine legitime Systembenachrichtigung statt wie ein von einem Angreifer kontrollierter Inhalt wirken.
Nutzer, die darin geschult wurden, verdächtigen E-Mail-Nachrichten zu misstrauen, vertrauen möglicherweise eher einer Benachrichtigung, die von einem in den Arbeitsablauf ihrer Organisation integrierten KI-Assistenten präsentiert wird.
Die Forscher betonten, dass diese Ergebnisse nicht auf eine weitverbreitete Ausnutzung in freier Wildbahn hindeuten.
Die Ergebnisse demonstrieren jedoch einen realistischen Proof-of-Concept-Angriffspfad und zeigen, wie KI-gestützte Produktivitätstools neue Möglichkeiten für Social Engineering eröffnen können, wenn Angreifer die Ausgabe des Modells beeinflussen können.
Risiken durch KI-gestütztes Phishing reduzieren
Da KI-Assistenten immer stärker in alltägliche Arbeitsabläufe integriert werden, sollten Organisationen erkennen, dass diese Tools neben ihren Produktivitätsvorteilen auch neue Sicherheitsaspekte mit sich bringen können.
Mehrschichtige Kontrollen, die Überwachung der KI-Ausgabe und die Schulung von Nutzern können dazu beitragen, das Risiko von Prompt-Injection und KI-gestütztem Phishing zu reduzieren.
- Die neuesten Microsoft Patches anwenden und sie vor der Bereitstellung in der Produktionsumgebung in einer Staging-Umgebung testen.
- Den Zugriff auf Copilot und die Berechtigungen nach dem Prinzip der geringsten Privilegien beschränken, ergänzt um RBAC und Richtlinien für den bedingten Zugriff, um zu begrenzen, wer KI-Zusammenfassungsfunktionen nutzen kann und von welchen Geräten aus.
- Copilots Fähigkeit zum Abruf anwendungsübergreifender Daten beschränken – etwa aus Teams, OneDrive und SharePoint –, sofern dies nicht erforderlich ist; dadurch lässt sich die potenzielle Auswirkung von Prompt-Injection-Versuchen reduzieren.
- E-Mail-Sicherheitskontrollen und Inhaltsfilter einsetzen , um versteckte Anweisungen, HTML-Verschleierungstechniken oder in E-Mail-Inhalte eingebettete Prompt-Injection-Muster zu erkennen.
- Copilot-Aktivitäten und KI-generierte Zusammenfassungen auf verdächtige Links überwachen, ungewöhnliche Anweisungen oder abnormale Ausgaben mithilfe von EDR/XDR und Verhaltensanalyse-Tools.
- Eine Sensibilisierungs-schulung umsetzen, die Mitarbeitern vermittelt, KI-generierte Zusammenfassungen als abgeleitete Interpretationen und nicht als maßgebliche Systemnachrichten zu betrachten.
- Regelmäßig Incident-Response-Pläne testen und Angriffssimulationslösungen mit Szenarien rund um KI-gestützte Phishing- und Prompt-Injection-Angriffe einsetzen.
Zusammengenommen können diese Maßnahmen Organisationen dabei helfen, ihre Gefährdung durch KI-gestütztes Phishing und Prompt-Injection-Risiken zu reduzieren und gleichzeitig ihre allgemeine Widerstandsfähigkeit gegen Bedrohungen zu stärken, die auf KI-gestützte Produktivitätstools abzielen.
KI-Assistenten führen zu neuen Sicherheitsrisiken
Prompt-Injection-Techniken sind nicht auf Microsoft Copilot beschränkt und wurden auch bei anderen Produktivitätsplattformen demonstriert, darunter KI-Tools, die in Google Workspace integriert sind.
Da KI-Assistenten immer stärker in Unternehmensabläufe integriert werden, beginnen Organisationen zu prüfen, wie diese Systeme mit nicht vertrauenswürdigen Eingaben umgehen und wie diese Eingaben die generierte Ausgabe beeinflussen könnten.
Unternehmen, die KI-Assistenten einsetzen, sollten sicherstellen, dass geeignete Kontrollen und eine angemessene Aufsicht vorhanden sind, damit diese Tools nicht unbeabsichtigt von Angreifern bereitgestellte Anweisungen verstärken oder vervielfältigen.
viele auch Zero-Trust-Lösungen ausloten, um die Identitätsprüfung, Zugriffskontrollen und den Datenschutz zu stärken.