Meta hat eine Sicherheitslücke geschlossen, über die Schadsoftware – oder ein bösartig ausgeführter Befehl – seinen KI-Agenten Muse hätte kapern und die bestehenden Berechtigungen des Assistenten gegen dessen Nutzer hätte einsetzen können.
Der Sicherheitsforscher Patrick Wardle demonstrierte die Schwachstelle in Metas macOS-App Muse und zeigte, wie ein lokaler Prozess ohne besondere Berechtigungen eine undokumentierte Einstellung ändern und den Sprachdikti Datenverkehr von Muse an einen vom Angreifer kontrollierten Server umleiten konnte. Meta veröffentlichte innerhalb weniger Stunden nach der Veröffentlichung von Wardles Erkenntnissen durch Ars Technica einen Hotfix.
Die Schwachstelle selbst erforderte die lokale Ausführung von Befehlen auf dem Rechner des Opfers. Wardle wies jedoch darauf hin, dass ein Angreifer aus der Ferne diesen Zugang über eine ClickFix-ähnliche Social-Engineering-Falle erlangen könnte, die einen Nutzer dazu bringt, einen schädlichen Befehl in das Terminal zu kopieren und einzufügen – ohne dass bereits Malware vorhanden sein muss.
Wardles Untersuchung macht ein größeres Sicherheitsproblem deutlich: KI-Assistenten erhalten Zugriff auf Dateien, Anwendungen, Kameras, E-Mails und andere Ressourcen, die herkömmliche Malware möglicherweise nicht direkt erreichen kann.
Wie Angreifer Meta Muse kapern könnten
Wardle stellte fest, dass die macOS-App von Muse die Sprachdiktion per Cloud verarbeitet und eine undokumentierte Einstellung enthält, die den Endpunkt für die Transkription festlegt. Konkret zielt der Exploit auf einen verborgenen Konfigurationswert,endo_voyager_dictation_endpoint der in den Einstellungen der Mac-App gespeichert ist.
Laut der ausführlichen Darstellung der Untersuchung durch Ars Technica konnten lokal ausgeführte Anwendungen und Befehle diese Einstellung ändern, ohne erhöhte macOS-Berechtigungen zu benötigen.
Ein Angreifer, der bereits Schadcode oder einen eingefügten ClickFix-Befehl auf einen Mac gebracht hatte, konnte den Transkriptionsendpunkt daher auf einen von ihm kontrollierten Server ändern. Wenn der Nutzer anschließend die Sprachdiktion von Muse aufrief, konnte der Server des Angreifers die Anfrage abfangen, die Eingabeaufforderung manipulieren und sie anschließend weiterleiten.
Noch wichtiger war Wardles Feststellung, dass der umgeleitete Datenverkehr das Authentifizierungstoken für das Muse-Konto des Opfers offenlegen konnte. Mit diesem Token hätte der Angreifer mit Muse interagieren und dabei die Berechtigungen ausnutzen können, die der Nutzer dem KI-Assistenten bereits erteilt hatte.
Da das Token an das Muse-Konto des Nutzers gebunden ist, hätte der Angriff über den Mac hinausreichen können. Wardle demonstrierte, dass ein Angreifer es nutzen könnte, um mit verbundenen Geräten zu interagieren, auf denen Muse läuft – unter anderem, um ein verknüpftes iPhone anzuweisen, seinen Standort zu melden und nach Bluetooth-Geräten in der Nähe zu suchen.
Wardle entwickelte Proof-of-Concept-Angriffe, die das Risiko demonstrierten, darunter die Nutzung von Muse zum Schreiben schädlicher Dateien auf die Festplatte und zum Aufnehmen von Bildern. The Register berichtete dass die Schwachstelle Prompt-Injection, den Diebstahl von Authentifizierungsdaten und den Missbrauch sämtlicher Zugriffe ermöglichen konnte, die der Nutzer Muse gewährt hatte.
Meta stufte das praktische Risiko als relativ gering ein, da für die Ausnutzung bereits Schadcode auf dem Rechner des Opfers ausgeführt werden musste. David Singleton von den Meta Superintelligence Labs bezeichnete die Schwachstelle als lokale Rechteausweitung und nicht als Remote-Exploit und erklärte, das Unternehmen habe einen Hotfix veröffentlicht. Wardle wies darauf hin, dass Social Engineering nach dem ClickFix-Muster entfernten Angreifern die für die Ausnutzung erforderliche lokale Befehlsausführung ermöglichen könnte.
KI-Agenten erweitern die Reichweite kompromittierter Apps
Muse stellt ein anderes Sicherheitsproblem dar als ein herkömmlicher Chatbot, weil Meta den Agenten dafür entwickelt hat, im Auftrag der Nutzer Aktionen auszuführen.
In seiner eigenen technischen Analyse der Sicherheitsarchitektur von Muse erklärt Meta, dass der Agent auf einem dedizierten Cloud-Computer arbeitet, im Hintergrund laufen, im Web surfen und mit Diensten von Drittanbietern interagieren kann. Nutzer können Muse mit Systemen wie E-Mail, Kalendern und anderen Meta-Apps verbinden; zusätzliche Konnektoren können seine Reichweite noch vergrößern.
Diese Fähigkeiten sind nützlich, wenn die Person, die den Agenten steuert, dazu berechtigt ist. Sie machen die Berechtigungen des Agenten jedoch auch wertvoller, wenn ein Angreifer ihn beeinflussen oder kontrollieren kann.
Sicherheitsforscher untersuchen dieses Problem zunehmend im gesamten Ökosystem agentischer KI. Forscher deckten zuvor kritische Schwachstellen auf, die KI-Coding-Agenten von Anthropic, Google und OpenAI betrafen und die Zugangsdaten offenlegen, die Remote-Codeausführung ermöglichen und Entwicklungsabläufe kompromittieren konnten.
Das Problem geht zudem über Schwachstellen in den zugrunde liegenden KI-Modellen hinaus. Sicherheitsteams müssen zunehmend auch die sie umgebende Software berücksichtigen – einschließlich Berechtigungen, Konfigurationsdateien, Authentifizierungsmechanismen, verbundener Dienste und der Systeme, die Nutzeranfragen in Aktionen übersetzen.
Forscher haben bereits gezeigt, wie diese Fähigkeiten Geschwindigkeit und Ausmaß von Angriffen verändern können. Im September kompromittierte eine von KI-Agenten gesteuerte Angriffskampagne mit Hunderten automatisierter Agenten mindestens 440 PaperCut-Serverinstanzen in 395 Organisationen in 48 Ländern.
Eine weitere kürzlich entdeckte Schwachstelle zeigte, wie eine Kompromittierung der umgebenden Infrastruktur auch KI-Konten selbst gefährden kann. Forscher demonstrierten eine ChatGPT-Schwachstelle, durch die Daten aus verschiedenen Nutzerkonten offengelegt werden konnten und die verdeutlicht, dass sich KI-Sicherheit zunehmend über das Modell selbst hinaus erstreckt.
Was Muse-Nutzer und Sicherheitsteams jetzt tun sollten
Metas Hotfix behebt die konkrete von Wardle demonstrierte Schwachstelle, doch die größere Lehre gilt allgemeiner für Organisationen, die KI-Agenten einsetzen.
Für Muse-Nutzer sollte die Installation der neuesten Version der macOS-App der erste Schritt sein. Da dieser Angriff die lokale Ausführung von Befehlen erforderte, bleiben ein wirksamer Endpunktschutz und Vorsicht gegenüber Techniken, die Nutzer zum Ausführen von Befehlen verleiten, wichtige Abwehrmaßnahmen.
Organisationen, die mit Muse und anderen KI-Agenten experimentieren, sollten die diesen Agenten erteilten Berechtigungen ebenfalls als Teil ihrer Angriffsfläche betrachten.
Sicherheitsteams sollten:
- Berechtigungen der Agenten erfassen. Wissen, auf welche Dateien, Anwendungen, Konten, Kameras, Mikrofone und Cloud-Dienste ein KI-Agent zugreifen kann.
- Das Prinzip der geringsten Rechte anwenden. Agenten keinen Zugriff auf Dienste oder Daten gewähren, die sie für ihre vorgesehenen Aufgaben nicht benötigen.
- Verbundene Dienste regelmäßig überprüfen. Konnektoren und Berechtigungen entfernen, die nicht mehr benötigt werden.
- Aktivitäten der Agenten überwachen. Ungewöhnliche Aktionen eines KI-Assistenten als potenzielle Sicherheitssignale behandeln, statt automatisch davon auszugehen, dass sie vom Nutzer ausgehen.
- Den Endpunktschutz aufrechterhalten. Sicherheitskontrollen für Agenten ersetzen nicht die Schutzmaßnahmen, die bereits die Ausführung schädlichen Codes auf dem Gerät verhindern sollen.
Wardles Erkenntnisse zeigen, warum diese Kontrollen wichtig sind. Lokale Malware oder ein scheinbar einfacher Terminalbefehl, der normalerweise an den Berechtigungsgrenzen von macOS scheitern würde, könnte erheblich leistungsfähiger werden, wenn er einen KI-Agenten kapert, dem der Nutzer bereits den Zugriff auf sensible Ressourcen gestattet hat.
Da KI-Assistenten zunehmend handeln können, statt lediglich Fragen zu beantworten, gibt es für Sicherheitsteams eine weitere Berechtigungsgrenze zu schützen: nicht nur, was der Nutzer tun kann, sondern auch, was der KI-Agent des Nutzers in dessen Auftrag tun darf.
Die Checkliste zur Sicherheit von KI-Agenten von eSecurityPlanet beschreibt praktische Kontrollen für Berechtigungen, Datenzugriff, menschliche Aufsicht und die Reaktion auf Sicherheitsvorfälle.