Je mehr Zugriffsmöglichkeiten man ChatGPT gewährt, desto mehr kann ein Angreifer damit anfangen, wenn er die KI dazu bringt, falschen Anweisungen zu folgen.
Eine neue Untersuchung von Check Point veranschaulichte dieses Risiko anhand von ChatGPTs Umgebung zur Codeausführung und den verbundenen Apps. Die Forscher zeigten, dass eine eingeschleuste Anweisung die Sitzung eines Opfers dazu bringen konnte, mit ihren bestehenden Berechtigungen eine versteckte Aufgabe auszuführen und das Ergebnis an ein anderes ChatGPT-Konto weiterzuleiten.
Für den Angriff waren weder ein gestohlenes Passwort noch ein vom Angreifer kontrollierter Server zur Übertragung der Daten erforderlich. Stattdessen stellten die Forscher fest, dass vermeintlich isolierte ChatGPT-Umgebungen zur Codeausführung über gemeinsame Metadaten in einem internen Paketdienst Informationen austauschen konnten. Dadurch erhielt ein Angreifer einen verdeckten Kanal zum Senden von Befehlen und Empfangen von Ergebnissen.
So läuft der Angriff ab
Laut Check Point konnte ein Angreifer die schädliche Anweisung auf eine von drei Arten einschleusen:
- Ein Nutzer könnte eine schädliche Eingabe einfügen in einen Chat
- Ein Nutzer könnte eine geteilte Unterhaltung öffnen , die die Anweisung bereits enthielt
- Ein Nutzer könnte ein benutzerdefiniertes GPT verwenden , in dessen Konfiguration die Anweisung verborgen war.
Sobald die Anweisung platziert war, musste das Opfer nichts Ungewöhnliches tun. Eine ganz normale Nachricht konnte dazu führen, dass ChatGPT die Frage des Nutzers beantwortete und gleichzeitig eine separate, für den Angreifer bestimmte versteckte Aufgabe ausführte.
Im Proof of Concept von Check Point wies die schädliche Anweisung ChatGPT an, in den Metadaten eines internen Paketdienstes nach Befehlen des Angreifers zu suchen, auf den verschiedene Umgebungen zur Codeausführung zugreifen konnten. Wenn das Opfer eine normale Nachricht sendete, beantwortete ChatGPT die sichtbare Anfrage, rief gleichzeitig den versteckten Befehl ab, führte ihn aus und übermittelte das Ergebnis über denselben verdeckten Kanal.
Wie viele Informationen ein Angreifer erlangen konnte, hing davon ab, worauf die ChatGPT-Sitzung des Opfers bereits zugreifen durfte. In der Demonstration von Check Point rief ChatGPT E-Mail-Daten aus dem verbundenen Gmail-Konto des Opfers ab und leitete sie an den Angreifer weiter.
So etwas ist schon einmal passiert
Dies ist nicht das erste Mal, dass Forscher zeigen, wie versteckte Anweisungen einen KI-Agenten dazu bringen können, Informationen preiszugeben.
ShadowLeak, einen Angriff, bei dem eine schädliche E-Mail versteckte Anweisungen enthielt, die ChatGPTs Deep-Research-Agenten dazu brachten, bei aktiviertem Gmail-Zugriff vertrauliche Informationen aus dem Posteingang abzurufen und ohne Wissen des Nutzers an einen vom Angreifer kontrollierten Server zu senden.
Der frühere Angriff basierte auf indirekter Prompt-Injection , bei der die schädlichen Anweisungen in Inhalten platziert wurden, die die KI lesen sollte, statt direkt vom Nutzer eingegeben zu werden. Die Untersuchung von Check Point folgt einem ähnlichen Muster, nutzt aber einen anderen Weg, um die gestohlenen Informationen weiterzuleiten.
Ein scheinbar unlösbares KI-Problem
Prompt-Injection ist seit Langem eines der größten Sicherheitsprobleme der KI und funktioniert ähnlich wie Social Engineering. Statt ein System zu knacken, versucht ein Angreifer, die KI dazu zu bringen, etwas zu tun, was sie nicht tun sollte.
OpenAI hat anerkannt, wie schwierig dieses Problem ist, und erklärt, dass „Prompt-Injection ähnlich wie Betrug und Social Engineering im Web wahrscheinlich nie vollständig gelöst werden kann“.
Der Grund ist einfach: Prompt-Injection zielt auf genau die Fähigkeit ab, die KI nützlich macht – ihre Fähigkeit, Anweisungen zu verstehen und ihnen zu folgen.
Wenn eine KI neben der Anfrage eines Nutzers E-Mails, Webseiten oder Dokumente liest, kann ein Angreifer schädliche Anweisungen in diesen Inhalten verbergen und sie legitim erscheinen lassen. Dadurch wird es für das Modell schwierig, vertrauenswürdige Anweisungen zuverlässig von schädlichen zu unterscheiden.
Warum das wichtig ist
Der kontenübergreifende Kanal war nicht mehr verfügbar, als Check Point seinen Bericht fertigstellte, und OpenAI bestätigte, dass die beteiligte interne Artifactory-Instanz außer Betrieb genommen worden war. Die Untersuchung weist jedoch auf ein umfassenderes Risiko hin, da ChatGPT und andere KI-Assistenten Zugriff auf immer mehr sensible Dienste erhalten. Die größere Sorge ist, was passiert, wenn ChatGPT und andere KI-Assistenten Zugriff auf immer größere Teile Ihres digitalen Lebens erhalten.
E-Mail, Dateien, Arbeitswerkzeuge und sogar ganze Geräte werden inzwischen in KI-Plattformen integriert. Das kann eine KI zwar nützlicher machen, schafft aber auch mehr Angriffspfade und gibt Angreifern einen größeren Anreiz, Prompt-Injection weiter einzusetzen.
Für Nutzer und Sicherheitsteams bedeutet das, dass eine schädliche Anweisung zu einem Datensicherheitsvorfall werden kann, ohne dass der Angreifer jemals ein Passwort stehlen muss. Je mehr E-Mails, Dateien und Arbeitsdienste ein KI-Assistent erreichen kann, desto mehr Informationen könnte er durch eine übersehene Schwachstelle preisgeben.
Die praktische Konsequenz lautet, zu prüfen, welche Dienste mit Ihrem KI-Assistenten verbunden sind, nicht benötigte Zugriffsrechte zu entfernen und, sofern verfügbar, strengere Bestätigungseinstellungen zu aktivieren. Die Einstellung „Immer fragen“ von OpenAI verlangt beispielsweise eine Zustimmung, bevor eine verbundene App eine Aktion ausführt. Je weniger Berechtigungen eine KI besitzt, desto weniger kann ein Angreifer bei erfolgreicher Prompt-Injection potenziell missbrauchen.
Nutzer sollten auch beim Umgang mit geteilten Chats, benutzerdefinierten GPTs und Eingaben aus unbekannten Quellen vorsichtig sein. Im Szenario mit der geteilten Unterhaltung von Check Point wurde die versteckte Aufgabe aktiviert, nachdem das Opfer die Unterhaltung geöffnet und eine Nachricht gesendet hatte. Prüfen Sie vor der Interaktion mit unbekannten KI-Inhalten deren Quelle und überlegen Sie, auf welche verbundenen Dienste die Sitzung zugreifen kann.