Unternehmen setzen zunehmend KI-Modelle ein, doch vielen fehlt nach wie vor der Überblick darüber, woher diese Modelle stammen oder wie sie im Laufe der Zeit verändert wurden.
Cisco will diese Lücke mit der Veröffentlichung seines Open-Source-Model Provenance Kit, eines Tools zur Überprüfung der Herkunft von KI-Modellen und zur Stärkung des Vertrauens in der gesamten KI-Lieferkette, schließen.
„Wir befinden uns beim Thema KI an einem ähnlichen Punkt wie beim frühen Internet, als sich die Systeme auf Fortschritte bei ihren Fähigkeiten konzentrierten“, sagte Amy Chang, Head of AI Threat Intelligence & Security Research bei Cisco, in einer E-Mail an eSecurityPlanet.
Sie erklärte: „Die Modellprovenienz entwickelt sich zur fehlenden Ebene, die Aufschluss über die Abstammung und das Training eines KI-Modells geben kann. Dadurch können Unternehmen erkennen, woher es stammt und ob ihm vertraut werden kann.“
Amy fügte hinzu: „Während KI weiter in regulierte Bereiche mit hohen Anforderungen vordringt, wird die Provenienz zu einer grundlegenden Voraussetzung für Governance, Verantwortlichkeit und durchsetzbares Vertrauen.“
Ciscos Ansatz zur Provenienz von KI-Modellen
Da Unternehmen die Nutzung von KI-Modellen aus Drittquellen und Open-Source-Modellen beschleunigen, wird das Verständnis der Modellabstammung schnell zu einer grundlegenden Voraussetzung für das Risikomanagement.
Moderne KI-Systeme werden nur selten von Grund auf neu entwickelt – sie werden fortlaufend feinjustiert, komprimiert, zusammengeführt oder anderweitig verändert, wodurch Schichten abgeleiteter Modelle entstehen.
Jede Transformation birgt das Risiko, nicht nur Fähigkeiten, sondern auch Schwachstellen, verborgene Abhängigkeiten und Lizenzverpflichtungen zu übernehmen.
Ohne eine zuverlässige Möglichkeit, diese Beziehungen nachzuverfolgen, stehen Unternehmen bei Compliance, der Reaktion auf Sicherheitsvorfälle und der Sicherheit der Lieferkette insgesamt vor wachsenden Herausforderungen.
So funktioniert Ciscos Model Provenance Kit
Das Model Provenance Kit von Cisco soll diese Lücke schließen, indem es Unternehmen ermöglicht, die Herkunft von Modellen und ihre Beziehungen zueinander zu überprüfen.
Das Tool erstellt Fingerabdrücke von Modellen auf Gewichtsebene – also auf der Ebene der zugrunde liegenden Parameter, die das Verhalten eines Modells bestimmen. Dadurch können Sicherheitsteams mit hoher Sicherheit feststellen, ob ein Modell von einem anderen abgeleitet wurde.
Ergänzend dazu stellte Cisco die Model Provenance Constitution vor, ein formales Rahmenwerk, das festlegt, was eine legitime Ableitungsbeziehung ausmacht – und ebenso wichtig, was nicht darunterfällt.
Provenienz auf Gewichtsebene definieren
Im Mittelpunkt von Ciscos Ansatz steht eine präzise und restriktive Definition der Provenienz, die auf Ableitungen auf Gewichtsebene basiert.
Nach diesem Modell gelten zwei KI-Systeme nur dann als miteinander verbunden, wenn eine direkte oder indirekte Kausalkette ihre trainierten Parameter miteinander verknüpft.
Dazu gehören gängige Entwicklungswege wie die Feinabstimmung eines Basismodells, die Wissensdestillation aus einem Lehrermodell oder mechanische Transformationen wie Quantisierung, Pruning oder das Zusammenführen von Modellen.
Indem die Provenienz an überprüfbare Gewichtsbeziehungen geknüpft wird, schafft das Rahmenwerk einen einheitlichen, technisch fundierten Standard, der organisationsübergreifend angewendet werden kann.
Was das Rahmenwerk ausschließt
Ebenso wichtig ist, was das Rahmenwerk bewusst ausschließt.
Oberflächliche Ähnlichkeiten – etwa gemeinsame Architekturen, sich überschneidende Trainingsdatensätze oder vergleichbare Benchmark-Ergebnisse – gelten nicht als Beleg für eine Ableitung.
Diese Unterscheidung ist in der Praxis entscheidend. Ohne sie könnten Unternehmen voneinander unabhängige Modelle fälschlicherweise als voneinander abhängig einstufen. Das würde zu falsch positiven Ergebnissen bei der Nachverfolgung von Schwachstellen, unnötigen Lizenzfragen und mehr Unübersichtlichkeit in Governance-Prozessen führen.
Indem das Rahmenwerk eine klare Grenze zwischen tatsächlicher Ableitung und zufälliger Ähnlichkeit zieht, verringert es die Mehrdeutigkeit und verbessert die Genauigkeit von Entscheidungen.
Model Provenance Constitution
Die Model Provenance Constitution stärkt diesen Ansatz zusätzlich, indem sie die Bedingungen, unter denen Modelle als miteinander verbunden gelten, ausdrücklich darlegt. Dazu gehören direkte und indirekte Abstammung, mechanische Transformationen und transitive Beziehungen über mehrere Stufen hinweg.
Außerdem katalogisiert sie häufige Fehlsignale – etwa unabhängig entwickelte Modelle, die sich zufällig ähneln – und hilft Teams so, Fehlklassifizierungen zu vermeiden.
Diese strukturierte Taxonomie stellt sicher, dass jeder Modellvergleich anhand eines einheitlichen Kriterienkatalogs bewertet werden kann.
Warum Provenienz für die KI-Sicherheit wichtig ist
Die Notwendigkeit dieser hohen Genauigkeit ergibt sich aus der sich wandelnden Bedrohungslage.
Eine unzureichende Modellprovenienz gilt in KI-Umgebungen bereits als zunehmendes Risiko, insbesondere im Zusammenhang mit Angriffen auf die Lieferkette.
Angreifer können unzureichend dokumentierte Modellabhängigkeiten ausnutzen, um Schadcode, Hintertüren oder Schwachstellen in vielfach wiederverwendete Komponenten einzuschleusen.
Branchenframeworks wie OWASP Top 10 für LLM-Anwendungen und MITRE ATLAS heben die Kompromittierung der Lieferkette als einen zentralen Angriffsvektor hervor und unterstreichen damit die Bedeutung von Nachverfolgbarkeit und Überprüfung.
Vertrauen durch überprüfbare Belege schaffen
Für den Einsatz in der Praxis setzt Ciscos Ansatz auf überprüfbare Belege statt auf Annahmen.
Die Provenienz kann durch offizielle Dokumentation, die technische Validierung von Modell-Checkpoints oder eine maßgebliche Analyse durch Dritte festgestellt werden.
Indem das Rahmenwerk statt manipulierbarer Metadaten oder Benennungen auf die Überprüfung auf Gewichtsebene setzt, hilft es, Versuche zur Verschleierung der Herkunft eines Modells zu verhindern.
Zusammen bieten diese Funktionen Unternehmen einen klareren Überblick über Modellabhängigkeiten und eine bessere Grundlage für das Management von Risiken in der KI-Lieferkette.
KI-Modellrisiken reduzieren
Da Unternehmen KI in kritische Geschäftsprozesse integrieren, wird das Management von Modellrisiken zu einer zentralen Sicherheitspriorität.
KI-Systeme bringen neue Herausforderungen in den Bereichen Daten, Abhängigkeiten und dynamisches Verhalten mit sich, die einen umfassenderen Ansatz zur Risikoreduzierung erfordern.
Um diese Risiken zu adressieren, sind Schutzmaßnahmen über den gesamten KI-Lebenszyklus hinweg erforderlich – von der Entwicklung über die Bereitstellung bis hin zum Betrieb.
- Modellprovenienz- und Lieferkettenkontrollen implementieren durch die Überprüfung der Abstammung, die Validierung von Modellen Dritter und die Behandlung von Modellen als verwaltete Abhängigkeiten.
- Starke Governance-Richtlinien etablieren , die die Dokumentation von Modellherkunft, Transformationen und Risikoklassifizierung verlangen und an Frameworks wie NIST AI RMF ausgerichtet sind.
- Daten über den gesamten KI-Lebenszyklus hinweg schützen , indem Trainings- und Inferenz-Pipelines geschützt, Datenlecks verhindert und Datensätze auf Risiken durch Vergiftung überprüft werden.
- Setzen Sie Identitäts- und Zugriffskontrollen mit minimalen Berechtigungen durch und wenden Sie Zero Trust-Prinzipien auf alle Benutzer, APIs und Systeme an, die mit Modellen interagieren.
- Modellverhalten kontinuierlich überwachen und protokollieren , um Anomalien, Drift oder Anzeichen einer Manipulation zu erkennen und eine effektive forensische Analyse zu ermöglichen.
- Schutzmaßnahmen auf Modell- und Anwendungsebene anwenden , etwa adversariales Testen, Leitplanken, Ausgabefilterung und die Isolierung von Umgebungen, um das Risiko von Missbrauch und Ausnutzung zu reduzieren.
- KI-spezifische Pläne zur Reaktion auf Sicherheitsvorfälle entwickeln und regelmäßig testen, um auf die Kompromittierung von Modellen, Datenpreisgabe oder bösartige Ausgaben vorbereitet zu sein.
In ihrer Gesamtheit helfen diese Maßnahmen Unternehmen, ihre Widerstandsfähigkeit zu stärken und ihre Gefährdung durch KI-Modellrisiken zu reduzieren.
Das wachsende Risiko in der KI-Lieferkette
Ciscos Model Provenance Kit verdeutlicht einen anhaltenden Wandel in der Art und Weise, wie Unternehmen das Risikomanagement für KI angehen.
Da KI-Systeme modularer und stärker miteinander vernetzt werden, weitet sich das traditionelle Konzept einer Software-Lieferkette auf Modelle, Datensätze und Trainings-Pipelines aus.
In diesem Umfeld wird die Herstellung einer klaren Provenienz immer wichtiger, um die Sicherheit aufrechtzuerhalten, Compliance-Bemühungen zu unterstützen und Vertrauen in den Betrieb zu schaffen.
Ohne einen besseren Überblick darüber, wie Modelle entwickelt werden und miteinander zusammenhängen, könnten Unternehmen Schwierigkeiten haben, Abhängigkeiten zu erkennen, Risiken zu bewerten und potenzielle geerbte Schwachstellen zu verwalten.
Diese Herausforderungen unterstreichen die Notwendigkeit eines Zero Trust-Ansatzes, der Unternehmen dabei unterstützt, Systeme, Daten und Abhängigkeiten in KI-Umgebungen kontinuierlich zu überprüfen.