Hugging Face a révélé qu’une attaque menée par un agent d’IA autonome avait permis à des attaquants de compromettre son infrastructure de production.
Les attaquants ont accédé à des jeux de données et des identifiants internes en exploitant des vulnérabilités dans le pipeline de traitement des données de l’entreprise.
Bien que l’enquête soit toujours en cours, l’entreprise a déclaré n’avoir trouvé aucun élément indiquant que des modèles, des jeux de données ou des Spaces accessibles au public avaient été modifiés, et que sa chaîne d’approvisionnement logicielle avait été vérifiée et ne présentait aucune compromission.
Principaux enseignements de l’attaque menée par un agent d’IA contre Hugging Face
- Hugging Face a révélé une attaque menée par un agent d’IA autonome qui a compromis son infrastructure de production en exploitant des vulnérabilités dans son pipeline de traitement des données.
- Les attaquants ont utilisé un jeu de données malveillant pour exécuter du code, dérober des identifiants cloud et se déplacer latéralement au sein de plusieurs clusters internes.
- Hugging Face a déclaré que la campagne reposait sur des agents d’IA autonomes ayant exécuté des milliers d’actions dans des environnements isolés à courte durée de vie, au moyen d’une infrastructure de commande et contrôle capable de s’auto-déplacer.
- L’entreprise n’a trouvé aucun élément indiquant que des modèles, des jeux de données ou des Spaces accessibles au public avaient été modifiés, et a déclaré que sa chaîne d’approvisionnement logicielle restait exempte de compromission.
- L’incident souligne l’importance de sécuriser les pipelines de développement de l’IA, de protéger les identifiants et de se préparer à des attaques toujours plus automatisées et pilotées par l’IA.
Comment l’attaque menée par un agent d’IA contre Hugging Face s’est déroulée
Hugging Face est une plateforme d’IA open source utilisée par plus de 50 000 organisations et hébergeant plus de 45 000 modèles.
Selon l’entreprise, les attaquants ont accédé à son infrastructure de production en ciblant le pipeline de traitement des données de la plateforme.
L’intrusion a commencé lorsqu’un jeu de données malveillant a exploité deux vulnérabilités permettant l’exécution de code : une faille d’injection de modèle dans la configuration d’un jeu de données et un chargeur de jeux de données distant permettant l’exécution de code.
Ensemble, ces vulnérabilités ont permis aux attaquants d’exécuter du code sur un nœud de traitement, leur donnant un premier point d’appui dans l’environnement.
Comment l’attaque menée par l’agent d’IA autonome s’est étendue
Après avoir obtenu un premier accès, les attaquants ont dérobé des identifiants cloud et de clusters, puis se sont déplacés latéralement au sein de plusieurs clusters internes.
Hugging Face a déclaré que la campagne avait été menée au moyen d’un framework d’agent autonome qui exécutait des milliers d’actions individuelles dans de nombreux environnements isolés à courte durée de vie, tout en maintenant une infrastructure de commande et contrôle capable de s’auto-déplacer via des services publics.
L’entreprise a déclaré que cette activité correspondait au scénario de l’« attaquant agentique » évoqué par les chercheurs en sécurité à mesure que les capacités de l’IA continuent d’évoluer.
Hugging Face n’a pas déterminé quel grand modèle de langage (LLM) alimentait les agents autonomes, ni si les attaquants s’appuyaient sur un modèle hébergé ou sur un modèle open source à poids non restreints.
Réponse à l’incident et enquête de Hugging Face
L’entreprise a déclaré que son enquête se poursuivait et qu’elle évaluait également si des données de partenaires ou de clients avaient été affectées.
À ce jour, elle n’a trouvé aucun élément indiquant que des modèles, des jeux de données ou des Spaces accessibles au public avaient été altérés, et a déclaré que sa chaîne d’approvisionnement logicielle avait été vérifiée et ne présentait aucune compromission.
À la suite de l’incident, Hugging Face a fermé les voies d’exécution de code vulnérables, expulsé les attaquants, reconstruit l’infrastructure affectée et renouvelé les identifiants compromis.
L’entreprise a également déployé de nouvelles capacités de détection des activités malveillantes, fait appel à des experts externes en criminalistique numérique et signalé l’incident aux forces de l’ordre.
Au-delà de la réponse technique, Hugging Face a insisté sur un enseignement opérationnel plus large pour les défenseurs.
L’entreprise recommande de maintenir un modèle d’IA interne afin de faciliter les investigations sur les incidents sans dépendre de services hébergés ni exposer de données d’analyse forensique sensibles.
Comment réduire les risques d’attaques menées par des agents d’IA
Les organisations qui utilisent des plateformes de développement de l’IA devraient revoir les contrôles de sécurité appliqués aux pipelines de traitement des données et à la gestion des identifiants, tout en se préparant à des techniques d’attaque toujours plus automatisées.
- Corrigez les vulnérabilités connues permettant l’exécution de code dans les pipelines de développement de l’IA et de traitement des données.
- Validez les jeux de données non fiables et exécutez-les dans un environnement isolé dans les workflows d’IA.
- Limitez les privilèges des nœuds de traitement et des comptes de service, et utilisez des identifiants à courte durée de vie lorsque cela est possible.
- Renouvelez les jetons d’accès et les identifiants si une exposition est suspectée, et examinez l’activité récente des comptes pour détecter tout accès non autorisé.
- Surveillez les environnements d’IA pour détecter toute exécution de code suspecte, tout accès aux identifiants et tout déplacement latéral au sein des infrastructures cloud et des conteneurs.
- Renforcez la gestion des secrets en stockant les identifiants de manière sécurisée et en limitant les jetons à longue durée de vie accessibles aux charges de travail d’IA.
- Testez les plans de réponse aux incidents à l’aide de simulations d’attaques pilotées par l’IA, et validez les procédures de sauvegarde et de reprise.
Ensemble, ces mesures peuvent aider les organisations à réduire leur exposition tout en renforçant leur résilience opérationnelle face à l’évolution des menaces favorisées par l’IA.
Les enseignements de la sécurité de l’IA pour les organisations
Alors que les organisations continuent d’étendre leur utilisation des plateformes d’IA, les responsables de la sécurité devraient évaluer si les contrôles existants protègent suffisamment les pipelines de développement de l’IA, les identifiants et l’infrastructure associée.
Des incidents comme celui-ci soulignent la nécessité de sécuriser les environnements d’IA avec les mêmes capacités de gouvernance, de supervision et de réponse aux incidents que celles appliquées aux autres systèmes de production critiques.
Au-delà du renforcement des défenses techniques, les organisations examinent également de manière plus globale les cadres de gouvernance nécessaires pour gérer les risques liés à l’IA à l’échelle de l’entreprise.