Forscher der Varonis Threat Labs identifizierten RovoBlast, eine Schwachstelle in Atlassian Rovo.
Der Fehler zeigte, wie ein einziger präparierter Link vom Angreifer kontrollierte Anweisungen in die vertrauenswürdige KI-Sitzung eines Nutzers einschleusen und dadurch möglicherweise Organisationsdaten offenlegen konnte.
Die Forscher Dolev Taler und Mark Vaitsman präsentierten die Ergebnisse auf der DEF CON 34, nachdem sie die Schwachstelle verantwortungsvoll an Atlassian gemeldet hatten, das sie anschließend behob.
RovoBlast macht eine größere Sicherheitsherausforderung für Unternehmens-KI deutlich.
Wenn Assistenten auf sensible Daten zugreifen und autonom mit mehreren Geschäftssystemen interagieren können, kann nicht vertrauenswürdige Eingabe Risiken schaffen, die weit über eine herkömmliche Chatbot-Sitzung hinausgehen.
Wichtigste Erkenntnisse aus der Varonis-Forschung zu RovoBlast
- RovoBlast nutzte einen Parameter-to-Prompt-Angriff (P2P) , durch den ein präparierter Link vom Angreifer kontrollierte Anweisungen in eine authentifizierte Atlassian-Rovo-Sitzung einschleusen konnte.
- Der Angriff erforderte weder einen herkömmlichen Jailbreak noch eine Umgehung von Berechtigungen, sondern nutzte den bestehenden Zugriff des Benutzers, um Informationen aus verbundenen Unternehmenssystemen abzurufen.
- Rovos Integrationen und autonomen Agentenfunktionen vergrößerten die potenzielle Schadensausbreitung, wodurch sensible Daten mit minimaler Interaktion des Benutzers abgerufen und möglicherweise offengelegt werden konnten.
- Organisationen sollten KI-Berechtigungen, Integrationen und autonome Funktionen einschränken und externe Prompts als nicht vertrauenswürdige Eingaben behandeln sowie KI-Aktivitäten auf Anzeichen von Missbrauch überwachen.
So funktionierte der RovoBlast-Angriff
Atlassian Rovo ist ein KI-Assistent für Unternehmen, der Such-, Konversations- und Agentenfunktionen in Jira, Confluence, Bitbucket und verbundenen Drittanbieterdiensten bietet.
Die Forscher stellten fest, dass Rovo über seinen URL-Parameter rovoChatPrompt extern bereitgestellte Inhalte akzeptierte.
Ein speziell erstellter Link konnte Rovo Chat daher mit vom Angreifer kontrollierten Anweisungen vorausfüllen, sobald ein angemeldeter Benutzer darauf klickte.
Varonis bezeichnet diese Technik als Parameter-to-Prompt (P2P), ein Angriffsmuster, das das Unternehmen zuvor in seiner Forschung zu Microsoft Copilot dokumentiert hatte.
RovoBlast war besonders besorgniserregend, weil die Ausnutzung weder einen herkömmlichen Jailbreak noch eine Umgehung von Berechtigungen erforderte.
Nach Angaben der Forscher konnten extern bereitgestellte Anweisungen ohne nennenswerte Warnungen oder eine Bestätigung, dass der Prompt von einem externen Parameter stammte, in die authentifizierte Rovo-Sitzung des Benutzers gelangen.
Die bestehenden Berechtigungen des Benutzers bestimmten dann, welche Informationen Rovo abrufen konnte.
Rovos Integrationen vergrößerten die potenzielle Schadensausbreitung
Rovos Nutzen beruht teilweise auf seiner Fähigkeit, Informationen aus unternehmensweiten Systemen zu durchsuchen und zusammenzuführen. Dieselbe Vernetzung erhöhte die potenziellen Auswirkungen von RovoBlast.
Bei den Tests stellten die Forscher fest, dass Rovo auf Daten in Jira, Slack, Google Workspace, Microsoft 365, Datenbanken, hochgeladenen Dateien und anderen verbundenen Ressourcen zugreifen konnte.
Rovo Connectors können diesen Zugriff auf Dutzende externer Dienste ausweiten.
Dadurch entsteht ein wichtiger Unterschied zwischen Prompt-Injection und herkömmlicheren Angriffen auf Anwendungen.
Ein Angreifer muss möglicherweise nicht jedes zugrunde liegende System einzeln kompromittieren, wenn ein KI-Assistent bereits im Namen des Benutzers rechtmäßigen Zugriff darauf hat.
Über eine authentifizierte KI-Sitzung ausgeführte Aktionen können zudem wie legitime Aktivitäten aussehen, wodurch sich bösartiges Verhalten möglicherweise schwerer von normalen KI-gestützten Arbeitsabläufen unterscheiden lässt.
Autonome Agenten eröffneten einen weiteren Weg zur Datenoffenlegung
Die Forscher untersuchten außerdem Rovos ResearchAgent, der quellübergreifende Recherchen und eine mehrstufige Webnavigation durchführen kann.
Diese autonomen Fähigkeiten verstärkten potenziell die Auswirkungen von RovoBlast.
Sobald bösartige Anweisungen in eine vertrauenswürdige Sitzung gelangt waren, konnte ein Agent mit minimaler Interaktion des Benutzers sensible Daten abrufen und sie möglicherweise nach außen offenlegen.
Laut Varonis erforderte der getestete Angriff im Allgemeinen nur die anfängliche P2P-Interaktion und nicht die komplexeren Techniken, die zur Umgehung von KI-Schutzvorkehrungen eingesetzt werden.
Die Erkenntnisse zeigen, warum Organisationen KI-Agenten nicht nur danach bewerten sollten, welche Informationen sie abrufen, sondern auch danach, welche Aktionen sie mit diesen Informationen ausführen können.
So können Unternehmen ihre Gefährdung durch KI verringern
Atlassian hat die offengelegte RovoBlast-Schwachstelle behoben. Organisationen, die verbundene KI-Assistenten einsetzen, sollten jedoch umfassendere Kontrollen einführen, um die Auswirkungen ähnlicher Angriffe zu reduzieren.
Sicherheitsteams sollten:
- Den KI-Zugriff auf sensible Systeme beschränken und nicht benötigte Konnektoren, Integrationen und Datenquellen entfernen, um die potenzielle Schadensausbreitung zu verringern.
- Berechtigungen nach dem Prinzip der geringsten Privilegien vergeben und nach Möglichkeit dedizierte KI-Serviceidentitäten verwenden, um den Zugriff zu beschränken und die Verantwortlichkeit zu verbessern.
- Externe Prompts und Parameter als nicht vertrauenswürdige Eingaben behandeln und sie validieren, bevor sensible Aktionen oder Datenzugriffe zugelassen werden.
- Autonome Funktionen und den Zugriff nach außen beschränken , damit KI-Agenten nicht unnötig browsen, mehrstufige Aktionen ausführen oder Daten nach außen übertragen.
- Verwenden Sie Kontrollen zur Verhinderung von Datenverlust , um die unbefugte Offenlegung vertraulicher, regulierter oder sensibler Informationen zu erkennen und zu blockieren.
- Überwachen und protokollieren Sie KI-Aktivitäten auf ungewöhnliche Suchvorgänge, unerwartete Datenzugriffe, verdächtiges Agentenverhalten und Interaktionen mit externen Zielen.
- Testen Sie Pläne zur Reaktion auf Vorfälle mit Angriffssimulations-tools und Szenarien rund um Prompt-Injection und andere KI-gestützte Angriffe.
Zusammengenommen können diese Maßnahmen die Angriffsfläche verbundener KI-Assistenten verkleinern und die potenziellen Auswirkungen begrenzen, wenn nicht vertrauenswürdige Eingaben vertrauenswürdige Unternehmensabläufe erreichen.
Fazit
RovoBlast verdeutlicht die Sicherheitsrisiken, die entstehen, wenn KI-Assistenten umfassenderen Zugriff auf Unternehmenssysteme, Daten und Arbeitsabläufe erhalten.
Eine stärkere Vernetzung kann zwar die Produktivität steigern, doch jede zusätzliche Berechtigung, Integration und autonome Funktion vergrößert die potenzielle Schadensausbreitung, wenn ein Angreifer die KI erfolgreich manipuliert.
Die Absicherung von Unternehmens-KI erfordert Kontrollen, die über die Filterung von Prompts hinausgehen.
Organisationen müssen klare Grenzen für das Vertrauen festlegen, innerhalb derer KI-Assistenten auf Ressourcen zugreifen und Agenten Aktionen ausführen dürfen, und regeln, wie externe oder nicht vertrauenswürdige Eingaben behandelt werden, bevor sie sensible Ressourcen erreichen.