Eine neu identifizierte Klasse von Schwachstellen bringt GitHub Actions und GitLab-CI/CD-Pipelines in Gefahr, und Sicherheitsexperten warnen, dass die Bedrohung sowohl praktisch als auch bereits in realen Workflows beobachtet worden ist.
Das Problem mit dem Namen PromptPwnd zeigt, wie KI-Agenten – eigentlich dazu gedacht, die Arbeit von Entwicklern zu vereinfachen – durch Prompt-Injection manipuliert werden können, um Geheimnisse abzugreifen, Repository-Daten zu bearbeiten und die Integrität der Lieferkette zu gefährden.
Dies sei die „… erste bestätigte Demonstration in der realen Welt, dass Prompt-Injection bei KI CI/CD-Pipelines kompromittieren kann“, sagten die Forscher von Aikido Security.
Fortune-500-Unternehmen bereits betroffen
Mindestens fünf Fortune-500-Unternehmen sind bislang betroffen, und Hinweise deuten darauf hin, dass möglicherweise viele weitere unbemerkt gefährdet sind.
Die Schwachstelle tritt auf, wenn KI-gestützte GitHub Actions – etwa Gemini CLI, Claude Code Actions, OpenAI Codex oder GitHub AI Inference – so konfiguriert sind, dass sie nicht vertrauenswürdige Benutzereingaben verarbeiten und über Repository-Tokens mit hohen Berechtigungen verfügen.
Da Unternehmen die Einführung KI-gestützter Automatisierung für die Triage von Issues, die Kennzeichnung von PRs und die Zusammenfassung von Code beschleunigen, werden diese agentischen Tools zunehmend tief in CI/CD-Pipelines eingebettet.
Dadurch entsteht eine neue Angriffsfläche, auf der benutzergesteuerter Text zum Einstiegspunkt für die Ausführung privilegierter Befehle wird.
Wie PromptPwnd Benutzereingaben in einen Angriff verwandelt
Im Kern missbraucht PromptPwnd einen vorhersehbaren Workflow: Nicht vertrauenswürdige Issue-Titel, Pull-Request-Beschreibungen oder Commit-Nachrichten werden direkt in den LLM-Prompt eingefügt.
Das Modell kann bösartigen Text als Anweisungen missverstehen – und entscheidend ist, dass diese KI-Agenten häufig Zugriff auf Tools wie gh issue edit, die Ausführung von Shell-Befehlen oder Funktionen zur Änderung von Repositories haben.
Der Proof of Concept (PoC) von Aikido gegen Googles Gemini CLI demonstriert die Funktionsweise.
Ein bösartiges Issue enthielt versteckte Anweisungen, die die KI aufforderten, den Inhalt des Issues zu ändern und sensible Werte einzubetten.
Da der Workflow den Issue-Text direkt in den Prompt übergab und Tokens wie GEMINI_API_KEY, GOOGLE_CLOUD_ACCESS_TOKEN und GITHUB_TOKENoffenlegte, rief die KI ihre verfügbaren Tools auf und veröffentlichte die Geheimnisse im öffentlichen Issue-Thread.
Google behob die Schwachstelle innerhalb von vier Tagen, nachdem die Forscher sie verantwortungsvoll gemeldet hatten.
Die Schwachstelle ist keiner bestimmten CVE zugeordnet, entspricht jedoch weitgehend CWE-Kategorien rund um die unzureichende Neutralisierung von Eingaben und die Ausführung mit unnötigen Berechtigungen.
Dafür ist keine ausgeklügelte Exploit-Kette erforderlich – lediglich eine präparierte Benutzereingabe und ein falsch konfigurierter oder übermäßig freizügiger KI-Agent.
Warum PromptPwnd funktioniert
PromptPwnd ist erfolgreich, weil drei grundlegende Sicherheitsmängel zusammentreffen:
- Nicht vertrauenswürdige, benutzergesteuerte Inhalte werden direkt in KI-Prompts eingefügt
- Von der KI generierte Ausgaben werden innerhalb von CI/CD-Workflows fälschlicherweise als vertrauenswürdiger Code oder vertrauenswürdige Anweisungen behandelt
- KI-Agenten erhalten Tokens und Tool-Zugriff mit hohen Berechtigungen, einschließlich der Möglichkeit, Shell-Befehle auszuführen.
Sobald diese Bedingungen zusammentreffen, ist der Angriffsweg geradlinig – Prompt-Manipulation führt zu einer Fehlinterpretation durch die KI, die eine privilegierte Tool-Ausführung auslöst und letztlich zur Kompromittierung des Repositorys oder zur Exfiltration von Geheimnissen führt.
Während einige Workflows Schreibberechtigungen benötigen, um aktiviert zu werden, können andere von jedem externen Benutzer ausgelöst werden, der ein Issue erstellt, und sind damit für opportunistische Drive-by-Angriffe weit offen.
So schützen Sie KI-gestützte Pipelines
Wenn Unternehmen KI-gestützte Automatisierung in ihren CI/CD-Pipelines einsetzen, übernehmen sie auch neue Angriffsflächen, für deren Bewältigung herkömmliche Sicherheitskontrollen nie ausgelegt waren.
Um dieses neue Risiko zu reduzieren, müssen Sicherheitsteams strengere Kontrollen dafür anwenden, wie KI-Agenten arbeiten, welche Eingaben sie erhalten und welche Aktionen sie ausführen dürfen.
- Berechtigungen von KI-Agenten beschränken, indem sie risikoreiche Tools wie die Shell-Ausführung, die Bearbeitung von Issues oder die Änderung von PRs deaktivieren, sofern sie nicht unbedingt erforderlich sind.
- Workflow-Trigger begrenzen , damit KI-gestützte Aktionen nur für vertrauenswürdige Mitwirkende ausgeführt und nicht automatisch durch die Erstellung öffentlicher Issues oder PRs aktiviert werden.
- Alle nicht vertrauenswürdigen Benutzereingaben bereinigen, bevor sie KI-Prompts erreichen, und alle von der KI generierten Ausgaben bis zu ihrer Validierung als nicht vertrauenswürdig behandeln.
- KI-Ausgaben validieren oder überprüfen, bevor sie ausgeführt werden, etwa durch menschliche Freigabeschritte, eine Positivliste von Befehlen oder isolierte Sandbox-Umgebungen.
- Token-Exposure reduzieren, indem die Berechtigungsbereiche von GitHub-Tokens eingeschränkt, kurzlebige Zugangsdaten verwendet und, wo möglich, IP-Positivlisten eingesetzt werden.
- Überwachen und Aktivitäten von KI-Agenten protokollieren – einschließlich Prompts, Ausgaben und Tool-Ausführungen –, um Anomalien wie unerwartete Änderungen oder Workflow-Aufrufe zu erkennen.
- Workflows und KI-Integrationen von Drittanbietern regelmäßig überprüfen und dabei nach Risiken durch Prompt-Injection, übermäßig weitreichenden Berechtigungen und unsicheren Standardkonfigurationen suchen.
Durch stärkere Kontrollen für KI-Agenten können Unternehmen die Wahrscheinlichkeit verringern, dass Prompt-Injection oder der Missbrauch von Workflows zu einer größeren Kompromittierung führt.
KI-Risiken in CI/CD-Pipelines nehmen zu
PromptPwnd ist ein weiteres Warnsignal in einem sich wandelnden Ökosystem, in dem Automatisierung, KI und Entwicklertools zunehmend zusammenwachsen.
Da Unternehmen KI immer tiefer in ihre CI/CD-Pipelines integrieren, finden Angreifer neue Möglichkeiten, Prompt-Injection als Waffe einzusetzen – und scheinbar harmlose Eingaben in natürlicher Sprache in Wege für privilegierte Aktionen und die Offenlegung sensibler Daten zu verwandeln.
Diese Entwicklung macht deutlich, dass KI-Agenten nicht länger als harmlose Helfer betrachtet werden können. Stattdessen müssen sie als Automatisierungskomponenten mit hohen Berechtigungen verwaltet werden, die strenge Sicherheitskontrollen und eine kontinuierliche Überwachung erfordern.
In vielerlei Hinsicht unterstreichen diese neu entstehenden KI-Risiken, warum Unternehmen eine Zero-Trust-Haltung annehmen müssen, die davon ausgeht, dass kein Benutzer, kein System und kein automatisierter Agent von vornherein vertrauenswürdig sein sollte.