Künstliche Intelligenz (KI) verändert die Sicherheit in Unternehmen, schafft aber auch neue Möglichkeiten für Angreifer.
Von Prompt Injection und Datenvergiftung über Modellmissbrauch bis hin zu KI-gestütztem Phishing, sehen sich Unternehmen einer wachsenden Angriffsfläche gegenüber, für deren Abwehr herkömmliche Sicherheitskontrollen nie konzipiert wurden.
Um Sicherheitsexperten zu helfen, diese Risiken besser zu verstehen, nahm Max Robertson, Senior Content Engineer und Leiter des AI Security Squad bei TryHackMe, am eSecurity Planet Podcast teil und demonstrierte anhand der interaktiven Trainingsplattform von TryHackMe direkte und indirekte Prompt-Injection-Angriffe.
Im Video zeigt Max, wie diese Angriffe in der Praxis funktionieren und warum KI-Sicherheit eine andere Denkweise erfordert als herkömmliche Anwendungssicherheit.
Prompt Injection bleibt eines der größten KI-Sicherheitsrisiken
Prompt Injection ist zu einer der meistdiskutierten Bedrohungen für Large Language Models (LLMs) geworden – und das aus gutem Grund.
Wie Robertson erklärt, weist der Angriff wichtige Ähnlichkeiten mit SQL-Injection auf. In beiden Fällen versuchen Angreifer, vertrauenswürdige Anweisungen mit nicht vertrauenswürdigen Eingaben zu vermischen, sodass eine Anwendung ein Verhalten ausführt, das der Entwickler nie beabsichtigt hat.
Während der Demo zeigt Robertson einen direkten Prompt-Injection-Angriff auf einen simulierten KI-gestützten Assistenten für den Autoverkauf.
Indem er sorgfältig formulierte Prompts verwendet, die die bestehenden Anweisungen des Chatbots außer Kraft setzen, demonstriert er, wie ein Angreifer die KI dazu bringen kann, den fiktiven Kauf eines Fahrzeugs für 1 US-Dollar zu akzeptieren.
Obwohl die Übung zu Trainingszwecken bewusst vereinfacht wurde, veranschaulicht sie, wie sich unsichere KI-Assistenten dazu bewegen lassen, ihre ursprünglichen Einschränkungen zu ignorieren.
Indirekte Prompt Injection gibt noch größeren Anlass zur Sorge
Die zweite Demonstration zeigt, warum einige Sicherheitsexperten indirekte Prompt Injection als ein noch bedeutenderes Unternehmensrisiko betrachten.
Statt den Chatbot direkt anzugreifen, platziert Robertson schädliche Anweisungen in einer externen Datenquelle – in diesem Fall einem Kalendereintrag, auf den der KI-Assistent zugreifen darf.
Wenn ein anderer Nutzer den Assistenten später bittet, bevorstehende Besprechungen zusammenzufassen, werden die schädlichen Anweisungen unwissentlich als vertrauenswürdiger Kontext eingelesen, wodurch die KI vertrauliche Vertriebsinformationen offenlegt.
Im Gegensatz zu direkter Prompt Injection muss der Angreifer beim Ausführen des Exploits nicht anwesend sein.
Jeder Mitarbeiter, der mit dem KI-Assistenten interagiert, könnte den Angriff unwissentlich auslösen – dadurch ist indirekte Prompt Injection für KI-Agenten, die mit Unternehmensdatenquellen verbunden sind, besonders gefährlich.
KI-Angriffe gehen weit über Prompt Injection hinaus
Obwohl Prompt Injection viele Diskussionen über KI-Sicherheit dominiert, stellt sie nur eine Kategorie neu entstehender Bedrohungen dar.
Unternehmen sind außerdem mit Risiken wie den folgenden konfrontiert:
- Datenvergiftung, bei der Angreifer Trainings- oder Abrufdaten manipulieren, um die Ausgaben von Modellen zu beeinflussen.
- Modellinversion und -extraktion, bei denen versucht wird, sensible Trainingsdaten wiederherzustellen oder proprietäre KI-Modelle nachzubilden.
- Jailbreaking, bei dem sorgfältig formulierte Prompts die Sicherheitskontrollen des Modells umgehen.
- KI-gestütztes Phishing und Social Engineering, bei denen generative KI verwendet wird, um immer überzeugendere, personalisierte Angriffe zu erstellen.
- Bösartige KI-Agenten, die autonom mit Unternehmensanwendungen, APIs und Cloud-Diensten interagieren können.
Da Unternehmen KI-Systeme zunehmend mit sensiblen Geschäftsdaten und operativen Abläufen verknüpfen, können Schwachstellen in diesen Integrationen Folgen haben, die weit über ungenaue Antworten von Chatbots hinausgehen.
KI-Sicherheit beginnt mit dem Verständnis der Technologie
Robertson betont, dass KI nicht als etwas betrachtet werden sollte, vor dem man sich fürchten muss, sondern als etwas, das man verstehen sollte.
So wie sich Unternehmen in der Vergangenheit an Cloud Computing und andere große technologische Veränderungen angepasst haben, müssen Verteidiger nun praxisnahes Wissen über KI-Systeme, ihre Fähigkeiten und ihre Auswirkungen auf die Sicherheit aufbauen.
Die praxisorientierten Labs von TryHackMe sollen Fachleuten dabei helfen, realistische KI-Angriffsszenarien sicher zu erkunden, bevor sie in der Produktion damit konfrontiert werden.
Leser, die praktische Fähigkeiten im Bereich KI-Sicherheit entwickeln möchten, können außerdem 30 % bei TryHackMe mit dem Gutscheincode TECHADVICE30.
Mit der zunehmenden Verbreitung von KI benötigen Unternehmen eine starke Governance, sichere Entwicklung und kontinuierliche Schulungen, um sich gegen die sich weiterentwickelnden KI-Bedrohungen zu schützen.
Prompt Injection ist nur eines von vielen Risiken, auf die sich Sicherheitsteams vorbereiten müssen.
Die Erweiterung der Zero-Trust-Prinzipien auf KI-Systeme kann dazu beitragen, die Auswirkungen kompromittierter Prompts, Identitäten und Datenquellen zu begrenzen.