Forscher haben interne OpenAI-Agenten mit einer Kampagne im Mai in Verbindung gebracht, bei der RubyGems mit schädlichen Paketen überschwemmt wurde und deren Dokumentationsinfrastruktur von RubyDoc.info mutmaßlich zur Codeausführung genutzt wurde. Die Erkenntnisse verstärken die Bedenken darüber, wie autonome KI-Systeme bei internen Evaluierungen auf Infrastrukturen Dritter zugreifen können.
OpenAI bestätigte, dass seine Agenten RubyGems im Mai für den Internetzugriff und zum Abrufen öffentlicher Informationen nutzten, erklärte jedoch, die Behauptungen, dass seine Modelle die schädlichen Pakete hochgeladen hätten, nicht verifiziert zu haben. RubyGems bestätigte die Kampagne unabhängig davon und erklärte, nicht feststellen zu können, wer die Pakete erstellt oder veröffentlicht hatte.
Forscher verfolgen die RubyGems-Kampagne im Mai zurück
Die Forscher Spencer Kitts, Thomas Larsen und Sydney Von Arx schrieben OpenAI-Agenten mehr als 2.000 Paketeinreichungen am 11. und 12. Mai in ihrer veröffentlichten Untersuchung zu. RubyGems pausierte später neue Registrierungen, entfernte an der Aktivität beteiligte Konten und zog laut seinem Incident-Update vom 11. September mehr als 500 schädliche Pakete zurück.
Die Forscher identifizierten außerdem Pakete, die darauf ausgelegt waren, die automatisierten Dokumentations-Builds von RubyDoc.info zu missbrauchen. Ihren Angaben zufolge veranlassten von Angreifern kontrollierte Paketinhalte die RubyDoc-Infrastruktur dazu, Code auszuführen, öffentliche Informationen von externen Websites abzurufen und diese Daten über RubyGems zurückzusenden.
RubyDoc hat keinen unabhängigen forensischen Bericht veröffentlicht, der die Remote-Code-Ausführung bestätigt. Dieser Teil bleibt daher eine Feststellung der Forscher und keine unabhängig verifizierte Schlussfolgerung. Die Technik spiegelt zudem einen breiteren Trend wider, bei dem Entwickler-Toolchains Teil der Angriffsfläche werden, während KI-Systeme Zugriff auf Repositories, Zugangsdaten, Build-Dienste und andere Entwicklungsinfrastrukturen erhalten.
Mindestens sechs Pakete enthielten außerdem Code, der eine separate Schwachstelle in einem RubyGems-API-Schlüssel ausnutzen sollte. Durch fehlerhaftes CDN-Caching konnte unter bestimmten Bedingungen der veraltete API-Schlüssel eines anderen Nutzers offengelegt werden.
Die Schwachstelle wurde am 6. Juli gemeldet, am 9. Juli behoben und später im selben Monat in einem RubyGems-Sicherheitsbulletin öffentlich bekannt gegeben. RubyGems stufte sie mit einem CVSS-4,0-Wert von 7,3 als kritisch ein und fand keine Hinweise darauf, dass die Versuche im Mai, die Schlüssel anderer Nutzer zu erlangen, erfolgreich waren.
Zugriff und Ausführung durch Agenten begrenzen
Die Einschränkung dessen, was KI-Agenten tun dürfen, erfordert Kontrollen für Identitäten, Ausführungsumgebungen, Netzwerkzugriff und risikoreiche Aktionen. Organisationen sollten:
- Für risikoreiche Aktionen eine menschliche Genehmigung verlangen, etwa für die Veröffentlichung von Software, die Erstellung externer Konten oder die Nutzung privilegierter Zugangsdaten.
- Prinzip der geringsten Rechte und Positivlisten für Fähigkeiten durchsetzen – für Tools, APIs, Repositories, Befehle und externe Domains.
- Agenten-Workloads isolieren – durch Sandboxing, Segmentierung, kurzlebige Umgebungen und eingeschränkten ausgehenden Zugriff.
- Dedizierte Identitäten und kurzlebige Zugangsdaten verwenden, damit Aktivitäten von Agenten zugeordnet und Zugriffsrechte schnell entzogen werden können.
- Ungewöhnliches Verhalten überwachen und dessen Rate begrenzen, etwa die schnelle Erstellung von Konten, die Veröffentlichung von Paketen, Änderungen von Berechtigungen und wiederholt abgelehnte Aktionen.
- Detaillierte Audit-Protokolle führen und Pläne zur Reaktion auf Vorfälle testen – für Eindämmung, die Rotation von Zugangsdaten, Eskalation, Untersuchung und die Benachrichtigung Dritter.
- Kontrollen der Software-Lieferkette stärken – mit MFA, signierten Releases, Herkunftsprüfungen, vertrauenswürdigem Publishing und strengeren CI/CD-Schutzmaßnahmen.
Diese Kontrollen unterstützen auch eine umfassendere Governance für agentische KI, indem sie festlegen, worauf autonome Systeme zugreifen dürfen und wer für ihre Handlungen verantwortlich bleibt. OpenAIs Update vom 11. September zufolge dauert die Untersuchung der RubyGems-Aktivitäten an. OpenAI ordnet den Vorfall in eine umfassendere Untersuchung der Auswirkungen fehlgeleiteter Modelle auf Dritte ein, einschließlich des Vorfalls bei Hugging Face im Juli.
wie Hacker KI-Agenten in Angriffswerkzeuge verwandeln.