Les organisations adoptent rapidement les modèles d’IA, mais beaucoup ne savent toujours pas précisément d’où viennent ces modèles ni comment ils ont été modifiés au fil du temps.
Cisco entend combler cette lacune avec la publication de son outil open source Model Provenance Kit, conçu pour vérifier l’origine des modèles d’IA et renforcer la confiance tout au long de la chaîne d’approvisionnement de l’IA.
« Nous en sommes à l’équivalent, pour l’IA, des débuts d’Internet, lorsque les systèmes se concentraient sur les avancées en matière de capacités », a déclaré Amy Chang, Head of AI Threat Intelligence & Security Research chez Cisco, dans un courriel adressé à eSecurityPlanet.
Elle a expliqué : « La provenance des modèles s’impose comme la couche manquante, capable d’éclairer la lignée et l’entraînement d’un modèle d’IA. Elle peut ainsi informer les organisations sur son origine et sur la possibilité de lui faire confiance. »
Amy a également ajouté : « À mesure que l’IA progresse dans des domaines réglementés et à forts enjeux, la provenance deviendra un fondement de la gouvernance, de la responsabilité et d’une confiance opposable. »
L’approche de Cisco en matière de provenance des modèles d’IA
Alors que les entreprises accélèrent l’adoption de modèles d’IA tiers et open source, comprendre la lignée des modèles devient rapidement une exigence fondamentale pour gérer les risques.
Les systèmes d’IA modernes sont rarement construits de zéro — ils sont continuellement affinés, compressés, fusionnés ou modifiés d’une autre manière, ce qui produit des couches de modèles dérivés.
Chaque transformation peut entraîner la transmission non seulement de capacités, mais aussi de vulnérabilités, de dépendances cachées et d’obligations liées aux licences.
Sans moyen fiable de retracer ces relations, les organisations sont confrontées à des difficultés croissantes en matière de conformité, de réponse aux incidents et, plus largement, de sécurité de la chaîne d’approvisionnement.
Fonctionnement du Model Provenance Kit de Cisco
Le Model Provenance Kit est conçu pour combler cette lacune en donnant aux organisations un moyen de vérifier l’origine des modèles et leurs relations.
L’outil établit l’empreinte des modèles au niveau des poids — les paramètres sous-jacents qui définissent leur comportement — afin de permettre aux équipes de sécurité de déterminer avec un haut degré de confiance si un modèle est dérivé d’un autre.
En complément, Cisco a présenté la Model Provenance Constitution, un cadre formel qui définit ce qui constitue une relation de dérivation légitime et, tout aussi important, ce qui n’en constitue pas une.
Définir la provenance au niveau des poids
Au cœur de l’approche de Cisco se trouve une définition précise et restrictive de la provenance, fondée sur la dérivation au niveau des poids.
Selon ce modèle, deux systèmes d’IA ne sont considérés comme liés que s’il existe une chaîne causale directe ou indirecte reliant leurs paramètres entraînés.
Cela inclut des parcours de développement courants, comme l’affinage à partir d’un modèle de base, la distillation des connaissances à partir d’un modèle enseignant, ou des transformations mécaniques telles que la quantification, l’élagage ou la fusion de modèles.
En ancrant la provenance dans des relations vérifiables entre les poids, ce cadre fournit une norme cohérente et techniquement fondée, applicable au sein de différentes organisations.
Ce que le cadre exclut
Tout aussi important : ce que le cadre exclut délibérément.
Les similitudes superficielles, comme le partage d’architectures, le chevauchement des jeux de données d’entraînement ou des performances comparables aux benchmarks, ne sont pas considérées comme des preuves de dérivation.
Cette distinction est essentielle en pratique. Sans elle, les organisations pourraient à tort classer des modèles sans lien comme dépendants les uns des autres, ce qui entraînerait des faux positifs dans le suivi des vulnérabilités, des interrogations inutiles concernant les licences et davantage de bruit dans les processus de gouvernance.
En traçant une limite claire entre dérivation réelle et similitude fortuite, le cadre réduit les ambiguïtés et améliore la précision de la prise de décision.
Model Provenance Constitution
La Model Provenance Constitution renforce encore cette approche en énonçant explicitement les conditions dans lesquelles des modèles sont considérés comme liés, notamment la descendance directe, la descendance indirecte, la transformation mécanique et les relations transitives à travers plusieurs étapes.
Elle répertorie également les faux signaux courants — comme des modèles développés indépendamment qui se ressemblent par hasard — afin d’aider les équipes à éviter les erreurs de classification.
Cette taxonomie structurée garantit que chaque comparaison de modèles peut être évaluée selon un ensemble cohérent de critères.
Pourquoi la provenance est importante pour la sécurité de l’IA
La nécessité d’un tel niveau de rigueur est dictée par l’évolution du paysage des menaces.
La faiblesse de la provenance des modèles est déjà considérée comme un risque croissant dans les environnements d’IA, notamment dans le contexte des attaques contre la chaîne d’approvisionnement.
Les adversaires peuvent exploiter des dépendances de modèles mal documentées pour introduire du code malveillant, des portes dérobées ou des vulnérabilités dans des composants largement réutilisés.
Des cadres sectoriels tels que OWASP’s Top 10 for LLM pour les applications et MITRE ATLAS présentent la compromission de la chaîne d’approvisionnement comme un vecteur de menace majeur, soulignant l’importance de la traçabilité et de la vérification.
Renforcer la confiance grâce à des preuves vérifiables
Pour favoriser les usages concrets, l’approche de Cisco privilégie les preuves vérifiables plutôt que les suppositions.
La provenance peut être établie au moyen de documents officiels, d’une validation technique des points de contrôle des modèles ou d’une analyse faisant autorité menée par un tiers.
En s’appuyant sur une vérification au niveau des poids plutôt que sur des métadonnées ou des noms susceptibles d’être manipulés, le cadre contribue à empêcher les tentatives de dissimulation de l’origine d’un modèle.
Ensemble, ces capacités offrent aux organisations une visibilité plus claire sur les dépendances des modèles et une base plus solide pour gérer les risques liés à la chaîne d’approvisionnement de l’IA.
Comment réduire les risques liés aux modèles d’IA
À mesure que les organisations intègrent l’IA dans leurs processus métier critiques, la gestion des risques liés aux modèles devient une priorité centrale de la sécurité.
Les systèmes d’IA introduisent de nouveaux défis liés aux données, aux dépendances et à leur comportement dynamique, qui exigent une approche plus globale de la réduction des risques.
La gestion de ces risques nécessite des mesures de protection couvrant tout le cycle de vie de l’IA, du développement au déploiement et à l’exploitation.
- Mettre en œuvre des contrôles de provenance des modèles et de la chaîne d’approvisionnement en vérifiant la lignée, en validant les modèles tiers et en traitant les modèles comme des dépendances gérées.
- Établir des politiques de gouvernance solides exigeant la documentation de l’origine, des transformations et de la classification des risques des modèles, conformément à des cadres tels que NIST AI RMF.
- Sécuriser les données tout au long du cycle de vie de l’IA en protégeant les pipelines d’entraînement et d’inférence, en empêchant les fuites de données, et en validant les jeux de données contre les risques d’empoisonnement.
- Appliquer des contrôles d’identité et d’accès selon le principe du moindre privilège et les principes de zero trust pour tous les utilisateurs, API et systèmes interagissant avec les modèles.
- Surveiller et consigner en continu le comportement des modèles afin de détecter les anomalies, les dérives ou les signes de falsification et de permettre une analyse criminalistique efficace.
- Appliquer des protections au niveau des modèles et des applications telles que des tests adversariaux, des garde-fous, le filtrage des sorties et l’isolation des environnements, afin de réduire les risques d’usage abusif et d’exploitation.
- Élaborer et tester régulièrement des plans d’réponse aux incidents propres à l’IA afin de garantir la préparation face à une compromission de modèle, à une exposition de données ou à des sorties malveillantes.
Collectivement, ces mesures aident les organisations à renforcer leur résilience et à réduire leur exposition aux risques liés aux modèles d’IA.
Montée des risques liés à la chaîne d’approvisionnement de l’IA
Le Model Provenance Kit de Cisco met en évidence une évolution en cours dans la manière dont les organisations abordent la gestion des risques liés à l’IA.
À mesure que les systèmes d’IA deviennent plus modulaires et interconnectés, la notion traditionnelle de chaîne d’approvisionnement logicielle s’étend aux modèles, aux jeux de données et aux pipelines d’entraînement.
Dans cet environnement, établir une provenance claire devient de plus en plus important pour préserver la sécurité, soutenir les efforts de conformité et renforcer la confiance opérationnelle.
Sans une meilleure visibilité sur la manière dont les modèles sont développés et liés, les organisations pourraient avoir des difficultés à identifier les dépendances, à évaluer les risques et à gérer les vulnérabilités potentiellement héritées.
Ces difficultés renforcent la nécessité d’une approche zero trust qui aide les organisations à vérifier en continu les systèmes, les données et les dépendances dans les environnements d’IA.