Azure-DevOps-Prompt-Injection zielt auf KI-Coding-Agenten ab

Forscher haben eine Prompt-Injection-Schwachstelle im offiziellen Azure-DevOps-Model-Context-Protocol-Server (MCP) von Microsoft offengelegt, die KI-Coding-Agenten dazu bringen kann, mithilfe der eigenen Berechtigungen eines Entwicklers auf sensible Informationen zuzugreifen. 

Die Ergebnisse zeigen, wie in einen Pull Request eingebettete, verborgene Anweisungen vertrauenswürdige KI-Assistenten dazu bringen können, ohne das Wissen des Prüfers unbeabsichtigte Aktionen auszuführen. 

Wichtigste Erkenntnisse zur Prompt-Injection in Azure DevOps

• Verborgene Prompt-Injections in Azure-DevOps-Pull-Requests können KI-Coding-Agenten dazu bringen, mithilfe der legitimen Berechtigungen eines Entwicklers nicht autorisierte Aktionen auszuführen.
• Der Angriff missbraucht das Vertrauen zwischen Benutzern und KI-Assistenten und beruht nicht auf Software-Schwachstellen oder gestohlenen Zugangsdaten.
• Die Forscher stellten eine uneinheitliche Umsetzung der Maßnahmen von Microsoft zur Abwehr von Prompt-Injections fest, wodurch Pull-Request-Beschreibungen verwundbar blieben.
• KI-Agenten mit Zugriff auf Unternehmensdaten, nicht vertrauenswürdige Inhalte und externe Kommunikationskanäle eröffnen neue Angriffswege für Prompt-Injections.
• Organisationen sollten Zugriffe nach dem Prinzip der geringsten Rechte, KI-Governance, Aktivitätsüberwachung und Tests der Reaktion auf Sicherheitsvorfälle kombinieren, um Sicherheitsrisiken durch KI-Agenten zu reduzieren.

So funktioniert die Azure-DevOps-MCP-Schwachstelle

Der Azure-DevOps-MCP-Server von Microsoft ermöglicht es KI-Coding-Assistenten, direkt mit Azure-DevOps-Ressourcen zu interagieren, darunter Pull Requests, Pipelines, Wikis, Arbeitselemente und Quellcode-Repositorys. 

Da der KI-Agent mit den Berechtigungen des authentifizierten Benutzers arbeitet, kann er in Projekten, auf die der Benutzer zugreifen darf, legitime Aktionen ausführen.

Die Forscher stellten fest, dass Angreifer mit Zugriff auf ein einziges Azure-DevOps-Projekt verborgene Anweisungen in einem HTML-Kommentar innerhalb einer Pull-Request-Beschreibung einbetten können. 

Der Kommentar bleibt zwar für menschliche Prüfer in der Azure-DevOps-Oberfläche unsichtbar, wird aber von der API zurückgegeben und während der Codeprüfung direkt an den KI-Agenten übermittelt.

Wenn ein Entwickler den KI-Assistenten bittet, den Pull Request zu prüfen, überschreibt der verborgene Prompt die vorgesehene Aufgabe des Agenten und weist ihn an, mithilfe der Zugangsdaten des Prüfers weitere Aktionen auszuführen.

Microsoft bestätigte und untersuchte das Problem nach der verantwortungsvollen Offenlegung.

Wie Prompt-Injection den projektübergreifenden Zugriff in Azure DevOps ermöglicht

Den Forschern zufolge setzt der Angriff weder eine Kompromittierung der Benutzerzugangsdaten noch eine direkte Ausnutzung der Azure-DevOps-Berechtigungen voraus.

Stattdessen missbraucht er die Vertrauensbeziehung zwischen dem Entwickler und dem KI-Assistenten.

Im demonstrierten Proof of Concept erstellte ein Angreifer einen scheinbar legitimen Pull Request mit verborgenen Anweisungen. 

Nachdem der Prüfer eine KI-gestützte Prüfung gestartet hatte, führte der Agent folgende Aktionen aus:

• Er las die verborgene Prompt-Injection.
• Er griff auf eine Pipeline in einem anderen Projekt zu, die dem Angreifer nicht zur Verfügung stand.
• Er rief vertrauliche Wiki-Inhalte aus diesem Projekt ab.
• Er veröffentlichte die abgerufenen Informationen wieder im Pull Request des Angreifers.

Da jede Aktion mithilfe der legitimen Berechtigungen des Prüfers ausgeführt wurde, wirkte die Aktivität autorisiert.

Die Forscher beschreiben dies als klassisches Szenario eines „verwirrten Stellvertreters“, bei dem ein vertrauenswürdiges System dazu gebracht wird, seine eigenen Berechtigungen im Namen eines Angreifers missbräuchlich einzusetzen.

Wie Microsoft den Schutz von Azure DevOps vor Prompt-Injections verbessert hat

Die Untersuchung ergab außerdem, dass Microsoft bereits eine als Spotlighting bezeichnete Maßnahme implementiert hatte, die nicht vertrauenswürdige Inhalte kennzeichnet, damit KI-Modelle Daten besser von ausführbaren Anweisungen unterscheiden können.

Der Schutz wurde jedoch nicht im gesamten Azure-DevOps-MCP-Server einheitlich angewendet. 

Während Tools, die Pipeline- und Wiki-Inhalte zurückgeben, Spotlighting verwendeten, tat dies das für die Rückgabe von Pull-Request-Beschreibungen zuständige Tool nicht, sodass der Injektionsweg offenblieb.

Die Forscher stellten fest, dass Spotlighting die Schwierigkeit von Prompt-Injection-Angriffen erhöht, das Risiko aber nicht vollständig beseitigt.

Warum die Sicherheit von KI-Agenten über Software-Schwachstellen hinausgeht

Die Ergebnisse verdeutlichen eine wachsende Herausforderung für Organisationen, die autonome KI-Agenten. 

Da KI-Systeme zunehmend für die Prüfung von Code, die Zusammenfassung von Projekten, das Auslösen von Workflows und den Zugriff auf Unternehmensressourcen zuständig sind, zielen Angreifer auf den Entscheidungsprozess und nicht auf die zugrunde liegende Software.

In Umgebungen, in denen Pull-Request-Prüfungen oder andere Entwicklungsaufgaben automatisch gestartet werden, können verborgene Prompt-Injections ohne jegliche menschliche Interaktion ausgeführt werden, wodurch sich die potenzielle Angriffsfläche vergrößert.

Die Ergebnisse machen außerdem auf das aufmerksam, was Forscher als tödliche Triade für KI-Agenten bezeichnen:

• Zugriff auf sensible Unternehmensdaten über Benutzerzugangsdaten.
• Kontakt mit von Angreifern kontrollierten Inhalten.
• Die Möglichkeit, abgerufene Informationen an externe Ziele zu senden.

Jede dieser Fähigkeiten unterstützt für sich genommen legitime KI-Automatisierung. Zusammen schaffen sie Möglichkeiten für Prompt-Injection-Angriffe, die vertrauenswürdige Agenten dazu bringen können, nicht autorisierte Aktionen auszuführen.

So können Organisationen Sicherheitsrisiken durch KI-Agenten reduzieren

Wenn Organisationen KI-Agenten in Softwareentwicklungs-Workflows integrieren, sollten Sicherheitsteams Maßnahmen ergreifen, die sowohl Prompt-Injections als auch übermäßige Berechtigungen der Agenten berücksichtigen. 

• Zugriffe nach dem Prinzip der geringsten Rechte gewähren und die Berechtigungen von KI-Agenten regelmäßig überprüfen.
• Pull Requests, Kommentare und Issues sowie andere von Benutzern erstellte Inhalte als nicht vertrauenswürdige Eingaben behandeln.
• Menschliche Genehmigung verlangen für sensible Aktionen von KI-Agenten, einschließlich projektübergreifendem Zugriff und Datenabruf.
• Überwachen und die Aktivitäten von KI-Agenten prüfen auf ungewöhnliche Tool-Nutzung, projektübergreifendes Verhalten und Datenzugriffe.
• MCP-Server, KI-Entwicklungstools und unterstützende Integrationen mit den neuesten Sicherheitspatches aktualisieren.
• Implementieren Sie KI-Governance-Richtlinien , die genehmigte Workflows definieren und risikoreiche Automatisierung beschränken.
• Testen Sie Pläne zur Reaktion auf Sicherheitsvorfälle mit KI-Agenten-Kompromittierung und Prompt-Injection-Szenarien , um die Erkennungs- und Reaktionsfähigkeiten zu validieren.

Zusammengenommen können diese Maßnahmen dazu beitragen, die allgemeine Gefährdung von Organisationen zu reduzieren.

Fazit: Prompt-Injection in Azure DevOps verdeutlicht die Risiken von KI-Agenten

Da KI-Agenten zunehmend in der Lage sind, im Namen von Benutzern zu lesen, Entscheidungen zu treffen und zu handeln, benötigen Organisationen neben der herkömmlichen Überwachung von Endpunkten und Netzwerken auch Einblick in das Verhalten der Agenten, um neue KI-gestützte Angriffstechniken zu erkennen.

Um diese sich wandelnden Risiken zu bewältigen, sollten Organisationen die KI-Governance durch eine Zero-Trust-Strategie ergänzen, die Benutzer, Geräte, Workloads und KI-Agenten kontinuierlich validiert, bevor sie Zugriff auf sensible Ressourcen gewährt.