ShadowRay ist eine Offenlegung der Infrastruktur des Frameworks Ray für künstliche Intelligenz (KI). Diese Offenlegung wird aktiv angegriffen, doch Ray bestreitet, dass es sich dabei um eine Schwachstelle handelt, und beabsichtigt nicht, sie zu beheben. Der Streit zwischen den Ray-Entwicklern und Sicherheitsforschern macht verborgene Annahmen sichtbar und vermittelt anhand von ShadowRay wichtige Erkenntnisse für die KI-Sicherheit, aus dem Internet erreichbare Ressourcen und das Schwachstellen-Scanning.
ShadowRay erklärt
Die KI-Computing-Plattform Anyscale entwickelte das Open-Source-KI-Framework Ray, das hauptsächlich zur Verwaltung von KI-Workloads eingesetzt wird. Das Tool kann eine Kundenliste vorweisen, zu der DoorDash, LinkedIn, Netflix, OpenAI, Uber und viele weitere Unternehmen gehören.
Die Sicherheitsforscher von Oligo Security entdeckten CVE-2023-48022, die sie ShadowRay nannten. Dabei stellten sie fest, dass Ray in der Jobs-API keine Autorisierung anwendet. Diese Offenlegung ermöglicht es jedem nicht authentifizierten Benutzer mit Netzwerkzugriff auf das Dashboard, Jobs zu starten oder sogar beliebigen Code auf dem Host auszuführen.
Die Forscher berechnen, dass diese Schwachstelle nach dem Common Vulnerability Scoring System (CVSS) mit 9,8 von 10 Punkten bewertet werden müsste. Anyscale bestreitet jedoch, dass es sich bei der Offenlegung um eine Schwachstelle handelt. Stattdessen hält das Unternehmen daran fest, dass Ray nur für den Einsatz in einer kontrollierten Umgebung vorgesehen sei und das Fehlen einer Autorisierung ein beabsichtigtes Feature darstelle.
Schäden durch ShadowRay
Leider scheinen viele Kunden die Annahme von Anyscale, dass diese Umgebungen nicht dem Internet ausgesetzt werden, nicht zu verstehen. Oligo hat bereits Hunderte exponierter Server entdeckt, die Angreifer bereits kompromittiert haben, und die Arten der Kompromittierung wie folgt kategorisiert:
- Zugriff auf SSH-Schlüssel: Ermöglicht es Angreifern, sich mit anderen virtuellen Maschinen in der Hosting-Umgebung zu verbinden, Persistenz zu erlangen und die Rechenkapazität anderweitig zu nutzen.
- Übermäßige Zugriffsrechte: Verschafft Angreifern über Root-Zugriff auf Ray oder Kubernetes-Cluster Zugriff auf Cloud-Umgebungen, da eingebettete API-Administratorberechtigungen vorhanden sind.
- Kompromittierte KI-Workloads: Beeinträchtigen die Integrität der Ergebnisse von KI-Modellen, ermöglichen den Diebstahl von Modellen und können das Modelltraining manipulieren, um künftige Ergebnisse zu verändern.
- Gekaperte Rechenkapazität: Zweckentfremdet teure KI-Rechenleistung für die Zwecke der Angreifer, vor allem für Cryptojacking, bei dem auf gestohlenen Ressourcen Kryptowährungen geschürft werden.
- Gestohlene Zugangsdaten: Setzen andere Ressourcen durch offengelegte Passwörter für OpenAI, Slack, Stripe, interne Datenbanken, KI-Datenbanken und mehr einer Kompromittierung aus.
- Abgegriffene Tokens: Ermöglichen Angreifern, Gelder zu stehlen (Stripe), Angriffe auf die KI-Lieferkette durchzuführen (OpenAI, Hugging Face usw.) oder interne Kommunikation abzufangen (Slack).
Wenn Sie nicht überprüft haben, dass interne Ray-Ressourcen sicher hinter strengen Netzwerksicherheitskontrollen liegen, führen Sie die Anyscale-Tools aus, um jetzt exponierte Ressourcen zu finden.
Indirekte Erkenntnisse aus ShadowRay
Auch wenn die direkten Schäden für die Opfer erheblich sein werden, legt ShadowRay verborgene Annahmen zur Netzwerksicherheit offen, die beim überhasteten Wechsel in die Cloud und bei der Einführung von KI übersehen wurden. Sehen wir uns diese Annahmen im Kontext der KI-Sicherheit, aus dem Internet erreichbarer Ressourcen und des Schwachstellen-Scannings an.
Erkenntnisse zur KI-Sicherheit
In der Eile, die vermeintliche Leistungsfähigkeit der KI zu nutzen, übergeben Unternehmen Initiativen an KI-Experten, die sich naturgemäß auf ihr primäres Ziel konzentrieren: Ergebnisse von KI-Modellen zu erhalten. Diese natürliche Kurzsichtigkeit führt dazu, dass Unternehmen drei zentrale, durch ShadowRay offengelegte Probleme ignorieren: KI-Experten verfügen nicht über Sicherheitsexpertise, KI-Daten müssen verschlüsselt werden und die Herkunft von KI-Modellen muss nachverfolgt werden.
KI-Experten fehlt Sicherheitsexpertise
Anyscale geht ebenso wie KI-Forscher davon aus, dass die Umgebung sicher und Ray geschützt ist. Neil Carpenter, Field CTO bei Orca Security, erklärt: „Wenn der Endpunkt nicht authentifiziert werden soll, könnten zumindest standardmäßig Netzwerkkontrollen den Zugriff außerhalb des unmittelbaren Subnetzes blockieren. Es ist enttäuschend, dass die Autoren diese CVE als beabsichtigtes Verhalten bestreiten, statt an ihrer Behebung zu arbeiten.“
Der Vergleich der Reaktion von Anyscale mit der tatsächlichen Nutzung von Ray zeigt, dass KI-Experten kein Sicherheitsbewusstsein besitzen. Die Hunderte exponierter Server weisen darauf hin, dass viele Unternehmen ihre KI-Teams um Sicherheitsexpertise erweitern oder die Sicherheitsaufsicht in ihre Abläufe integrieren müssen. Wer weiterhin von sicheren Systemen ausgeht, wird Verstöße gegen Datenschutzvorgaben und andere Schäden erleiden.
KI-Daten müssen verschlüsselt werden
Angreifer erkennen und finden unverschlüsselte vertrauliche Informationen problemlos – insbesondere die Daten, die Oligo-Forscher als „Modelle oder Datensätze [bezeichnen], die das einzigartige, private geistige Eigentum darstellen, das ein Unternehmen von seinen Wettbewerbern unterscheidet“.
Die KI-Daten werden zu einem Single Point of Failure für Datenschutzverletzungen und die Offenlegung von Unternehmensgeheimnissen. Dennoch vernachlässigen Unternehmen, die Millionen in die KI-Forschung investieren, die dafür erforderlichen Sicherheitsausgaben zu ihrem Schutz. Glücklicherweise können Verschlüsselung auf Anwendungsebene (ALE) und andere moderne Verschlüsselungslösungen erworben werden, um den Schutz interner oder externer KI-Datenmodelle zu verbessern.
Die Herkunft von KI-Modellen muss nachverfolgt werden
Während KI-Modelle Informationen für die Modellierung verarbeiten, gehen KI-Programmierer davon aus, dass alle Daten brauchbare Daten sind und das Prinzip „Garbage in, garbage out“ bei KI niemals greift. Wenn Angreifer jedoch falsche externe Daten in einen Trainingsdatensatz einschleusen können, wird das Modell beeinflusst oder sogar massiv verfälscht. Der Schutz von KI-Daten bleibt dennoch eine Herausforderung.
„Dies ist ein sich rasant entwickelndes Gebiet“, räumt Carpenter ein. „Allerdings … werden bestehende Kontrollen dazu beitragen, sich gegen künftige Angriffe auf KI-Trainingsmaterial zu schützen. Zu den ersten Verteidigungslinien gehören beispielsweise die Beschränkung des Zugriffs – sowohl über die Identität als auch auf Netzwerkebene – und die Überprüfung des Zugriffs auf die zum Training der KI-Modelle verwendeten Daten. Die Absicherung einer Lieferkette, die KI-Training umfasst, beginnt genauso wie die Absicherung jeder anderen Software-Lieferkette – mit einer soliden Grundlage.“
Herkömmliche Abwehrmaßnahmen schützen interne KI-Datenquellen, werden jedoch exponentiell komplexer, wenn Datenquellen außerhalb des Unternehmens eingebunden werden. Carpenter zufolge erfordern Daten von Drittanbietern zusätzliche Aufmerksamkeit, um Probleme wie „böswillige Vergiftung der Daten, Urheberrechtsverletzungen und implizite Verzerrungen“ zu vermeiden. Die Datenbereinigung zur Vermeidung dieser Probleme muss erfolgen, bevor die Daten für das Training von KI-Modellen zu Servern hinzugefügt werden.
Vielleicht halten manche Forscher alle Ergebnisse für plausibel, selbst Halluzinationen der KI. Fiktive oder verfälschte Ergebnisse führen jedoch jeden in die Irre, der versucht, die Ergebnisse in der realen Welt anzuwenden. Der Prozess muss mit einer gesunden Portion Skepsis begleitet werden, um die Nachverfolgung der Authentizität, Gültigkeit und angemessenen Nutzung der KI-beeinflussenden Daten zu fördern.
Erkenntnisse zu aus dem Internet erreichbaren Ressourcen
ShadowRay stellt ein Problem dar, weil die KI-Teams die Infrastruktur für den öffentlichen Zugriff geöffnet haben. Viele andere lassen jedoch ebenfalls Ressourcen im Internet erreichbar und mit erheblichen, ausnutzbaren Sicherheitslücken offen. Das folgende Bild zeigt beispielsweise die Hunderttausenden IP-Adressen mit Schwachstellen der höchsten Kritikalitätsstufe, die die Shadowserver Foundation als aus dem Internet erreichbar erkannt hat!
Eine Suche nach Schwachstellen aller Stufen legt Millionen potenzieller Probleme offen, umfasst jedoch nicht einmal eine umstrittene CVE wie ShadowRay oder andere versehentlich falsch konfigurierte und erreichbare Infrastrukturen. Der Einsatz einer Cloud-nativen Anwendungsschutzplattform (CNAP) oder sogar eines Schwachstellen-Scanners für Cloud-Ressourcen kann dabei helfen, offengelegte Schwachstellen zu erkennen.
Leider setzen Scans voraus, dass KI-Entwicklungsteams und andere Teams, die Ressourcen bereitstellen, ihre Ressourcen zur Nachverfolgung oder zum Scannen an die Sicherheitsabteilung melden. KI-Teams starten Ressourcen für Budgetierungs- und Zwecke der schnellen Bereitstellung wahrscheinlich unabhängig, doch die Sicherheitsteams müssen dennoch über deren Existenz informiert werden, um Best Practices für Cloud-Sicherheit auf die Infrastruktur anzuwenden.
Erkenntnisse zum Schwachstellen-Scanning
Anyscales Anfechtung von CVE-2023-48022 versetzt die Schwachstelle zusammen mit den vielen anderen umstrittenen CVE-Schwachstellen in eine Grauzone. Diese reichen von Problemen, die noch nicht nachgewiesen wurden und möglicherweise nicht gültig sind, bis hin zu solchen, bei denen das Produkt zwar wie vorgesehen funktioniert, dies jedoch auf unsichere Weise geschieht (wie bei ShadowRay).
Diese umstrittenen Schwachstellen verdienen eine Nachverfolgung – entweder durch ein Schwachstellenmanagement-Tool oder ein Risikomanagementprogramm. Sie verdienen auch deshalb besondere Aufmerksamkeit, weil ShadowRay zwei zentrale Erkenntnisse offenlegt. Erstens unterscheiden sich Schwachstellen-Scanner darin, wie sie mit umstrittenen Schwachstellen umgehen. Zweitens müssen diese Schwachstellen aktiv nachverfolgt und überprüft werden.
Achten Sie auf Unterschiede beim Umgang mit umstrittenen Schwachstellen
Unterschiedliche Schwachstellen-Scanner und Threat Feeds gehen unterschiedlich mit umstrittenen Schwachstellen um. Manche lassen umstrittene Schwachstellen aus, andere nehmen sie als optionale Scans auf, und wieder andere führen sie als unterschiedliche Arten von Problemen.
Carpenter erklärt beispielsweise: „Orca hat sich dafür entschieden, dies als Risiko in der Sicherheitslage und nicht als CVE-artige Schwachstelle zu behandeln … Dies ist für Unternehmen leichter nutzbar, da eine CVE typischerweise durch ein Update behoben würde (das hier nicht verfügbar sein wird), während ein Risiko in der Sicherheitslage durch eine Konfigurationsänderung behoben wird (was für dieses Problem der richtige Ansatz ist).“ IT-Teams müssen aktiv nachverfolgen, wie ein bestimmtes Tool mit einer bestimmten Schwachstelle umgeht.
Schwachstellen aktiv nachverfolgen und überprüfen
Tools versprechen, Prozesse zu vereinfachen. Leider gibt es für die Sicherheit aber noch keine einfache Lösung per Knopfdruck. Bei Schwachstellen-Scannern ist nicht ohne Weiteres ersichtlich, ob ein vorhandenes Tool nach einer bestimmten Schwachstelle sucht.
Sicherheitsteams müssen aktiv verfolgen, welche Schwachstellen die IT-Umgebung beeinträchtigen können, und überprüfen, ob das Tool nach bestimmten relevanten CVEs sucht. Bei umstrittenen Schwachstellen können zusätzliche Schritte erforderlich sein, etwa eine Anfrage beim Supportteam des Schwachstellen-Scanners, um zu klären, wie das Tool mit der betreffenden Schwachstelle umgehen wird oder nicht umgehen wird.
Um das Risiko einer Offenlegung weiter zu verringern, verwenden Sie mehrere Schwachstellen-Scanner und Penetrationstests, um das potenzielle Risiko entdeckter Schwachstellen zu validieren oder weitere potenzielle Probleme aufzudecken. Im Fall von ShadowRay stellte Anyscale ein Tool bereit, doch kostenlose Open-Source-Tools zum Schwachstellen-Scanning können ebenfalls nützliche zusätzliche Ressourcen liefern.
Fazit: Auf erhebliche Schwachstellen prüfen und nachprüfen
Sie müssen nicht durch ShadowRay gefährdet sein, um die indirekten Erkenntnisse zu den Risiken von KI, aus dem Internet erreichbaren Ressourcen und dem Schwachstellen-Scanning zu würdigen. Die tatsächlichen Folgen sind schmerzhaft, doch kontinuierliche Scans der kritischen Infrastruktur auf potenzielle Schwachstellen können Probleme finden, die behoben werden können, bevor ein Angreifer Schaden anrichtet.
Beachten Sie die Einschränkungen von Schwachstellen-Scanning-Tools, der KI-Modellierung und von Mitarbeitern, die Cloud-Ressourcen überstürzt bereitstellen. Schaffen Sie Mechanismen für eine bessere Zusammenarbeit zwischen Teams und implementieren Sie ein System zur kontinuierlichen Überwachung potenzieller Schwachstellen durch Recherche, Threat Feeds, Schwachstellen-Scanner und Penetrationstests.
Weitere Informationen zu potenziellen Bedrohungen finden Sie inThreat-Intelligence-Feeds.