Selon les agences de sécurité américaines, six entreprises chinoises spécialisées dans l’IA ont mené des campagnes à l’échelle industrielle pour extraire les capacités de modèles américains de pointe. Cette activité pourrait permettre à des développeurs concurrents d’accéder à de précieuses capacités de raisonnement, de programmation et d’agent, sans supporter l’intégralité des coûts de leur développement indépendant.ow
La NSA, le FBI et la Cybersecurity and Infrastructure Security Agency ont cité DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun et Z.AI dans leur mise en garde. Selon les agences, ces entreprises ont obtenu collectivement des milliards de jetons au moyen de millions de requêtes impliquant des modèles Claude, GPT, Gemini et Grok.
Dans un avis conjoint de cybersécurité du 8 septembre, les agences ont déclaré que les campagnes remontaient au moins à la fin de 2024 et avaient probablement eu lieu au su du gouvernement chinois. Elles ont également souligné que la distillation des connaissances était en elle-même une technique légitime de développement de l’IA ; les abus présumés reposaient sur une extraction coordonnée, un détournement de comptes, une infrastructure proxy et des tentatives de contournement des contrôles des fournisseurs.
Fonctionnement de la distillation de l’IA à l’échelle industrielle
La distillation des connaissances utilise les résultats d’un modèle « enseignant » plus puissant pour améliorer un autre modèle. Selon l’avis, les entreprises citées acheminaient leurs requêtes via des API natives, des fournisseurs cloud distants, des agrégateurs tiers et des proxys d’API du marché gris appelés « stations de transfert », en répartissant leur activité entre plusieurs comptes et voies d’accès.
Les agences ont également documenté des tentatives d’extraction du raisonnement par chaîne de pensée, de basculement automatique entre les voies d’accès après un blocage et de détermination des éventuelles modifications du comportement des modèles par les fournisseurs pour compliquer l’extraction. DeepSeek est la première campagne identifiée, avec une activité remontant au moins à la fin de 2024.
Anthropic a également documenté une activité de distillation à grande échelle impliquant trois des six entreprises. Le 23 février, l’entreprise a indiqué que DeepSeek, Moonshot et MiniMax avaient généré plus de 16 millions d’échanges avec Claude au moyen d’environ 24 000 comptes frauduleux.
Ces campagnes ajoutent une nouvelle dimension à un environnement de menaces dans lequel les attaquants utilisent de plus en plus des agents d’IA pour automatiser la reconnaissance, le vol d’identifiants et d’autres étapes des attaques.
La Chine a rejeté les accusations américaines le 9 septembre. Dans un communiqué officiel, le ministère du Commerce a déclaré que ces accusations étaient dépourvues de fondements factuels et juridiques, et a fait valoir que la distillation était une technique de développement de l’IA largement utilisée et neutre.
Détecter et neutraliser les campagnes de distillation
Les agences recommandent une détection complète, des modifications ciblées des réponses lorsque la présence d’une distillation malveillante est suspectée, ainsi que le partage de renseignements entre les fournisseurs et leurs partenaires d’infrastructure. Les efforts récents visant à renforcer la sécurité autour des agents Claude montrent également comment la surveillance et les contrôles d’accès s’étendent parallèlement aux capacités de l’IA.
Les organisations peuvent renforcer ces défenses au moyen de sept mesures :
- Surveiller les schémas d’utilisation anormaux, notamment les pics d’utilisation rapides, les ratios inhabituels entre abonnements et utilisation, ainsi que les invites répétitives.
- Renforcer la vérification des comptes et les contrôles d’identité afin de détecter les inscriptions frauduleuses, les identifiants partagés et la rotation des comptes.
- Corréler la télémétrie des comptes, des paiements, du réseau et des requêtes afin d’identifier les activités réparties entre plusieurs comptes et services.
- Déployer une détection comportementale pour repérer l’extraction répétée de capacités de raisonnement, de programmation, d’agent, d’utilisation d’outils et d’autres capacités à forte valeur.
- Renforcer la sécurité des réponses des modèles et des API au moyen de contrôles de débit et de modifications ciblées lorsqu’une extraction est suspectée.
- Tester les plans de réponse aux incidents au moyen d’exercices couvrant l’abus de comptes, l’extraction pilotée par proxy, le détournement d’identifiants et les procédures d’escalade, en s’appuyant sur les défenses utilisées contre les cyberattaques réelles assistées par l’IA.
- Partager les renseignements sur les menaces avec les partenaires de l’infrastructure afin de relier les indicateurs répartis entre plusieurs services.
Les charges de travail d’IA d’entreprise à haut volume peuvent produire certains des mêmes signaux, ce qui signifie que le volume ne suffit pas à lui seul à établir le caractère malveillant d’une activité. La détection exige un contexte comportemental et une corrélation entre les identités, l’infrastructure et les voies d’accès.
À mesure que l’IA devient une infrastructure essentielle, l’accès aux modèles constitue une nouvelle frontière de sécurité nécessitant des contrôles d’identité, une surveillance des API, des analyses comportementales, des plans de réponse testés et un partage coordonné des renseignements sur les menaces.
À lire aussi : les organisations qui étendent l’usage autonome de l’IA peuvent également réduire les risques en renforçant la supervision et les contrôles autour des agents d’IA.