L’un des modèles d’IA de Meta a piraté les systèmes d’une autre entreprise lors d’une évaluation de cybersécurité, après qu’une erreur de configuration du test lui a donné accès à Internet.
La maison mère de Facebook a déclaré à la BBC qu’elle enquêtait et prévoyait de publier davantage d’informations une fois les faits établis.
Des incidents récents impliquant OpenAI et Anthropic ont renforcé les interrogations sur la possibilité de confiner en toute sécurité les agents capables d’agir dans le cyberespace pendant les tests.
Une erreur de test a exposé un système en production
L’évaluateur indépendant Irregular a mené l’essai et a relié la faille au même problème d’environnement d’évaluation révélé par Anthropic la semaine dernière, comme l’a rapporté la BBC. Irregular prépare des recommandations sur l’exécution sécurisée des tests de cybersécurité impliquant des agents d’IA.
Meta a déclaré à Business Insider que le modèle avait exploité une vulnérabilité dans un service tiers et qu’Irregular avait informé l’entreprise de l’incident. Irregular a indiqué qu’aucune sortie de bac à sable ni aucune action cyber sophistiquée n’avait eu lieu et qu’aucun problème ne restait à traiter.
Selon The Information, le modèle concerné était Muse Spark 1.1. Meta n’a pas nommé l’entreprise touchée, précisé quels systèmes avaient été consultés ni indiqué si des données avaient été exposées.
D’autres incidents accentuent la pression sur le confinement
OpenAI et Anthropic ont révélé des épisodes similaires ces dernières semaines, même si les mécanismes techniques différaient. Dans un cas, un agent a trouvé un moyen de contourner les contrôles de test ; dans l’autre, une erreur de configuration a donné aux modèles accès à Internet.
Dans tous ces cas, les environnements de test sont devenus des voies d’accès à des systèmes situés hors du périmètre prévu. Les équipes de sécurité doivent considérer l’accès à l’internet public et la faible isolation comme des risques d’incident, et non comme de simples erreurs de configuration.
Les équipes de sécurité doivent restreindre les agents avant les tests
Les équipes de sécurité qui testent ou déploient des agents autonomes doivent les traiter comme des charges de travail non fiables dès le premier essai.
- Isolez les agents et limitez l’accès réseau. Placez-les dans des environnements isolés, bloquez par défaut les accès sortants et n’autorisez que les destinations nécessaires.
- Limitez les identités et les autorisations. Attribuez à chaque agent une identité dédiée et des identifiants à courte durée de validité. Exigez l’approbation d’un humain avant toute exécution de code ou modification du système, et bloquez l’accès aux secrets sauf si la tâche l’exige.
- Conservez les données de supervision. Enregistrez les invites et l’activité réseau dans des journaux que l’agent ne peut pas modifier. Toute connexion non autorisée doit déclencher un isolement et une rotation des identifiants, suivis d’un examen complet de l’activité.
- Établissez la responsabilité du fournisseur. Définissez les cibles autorisées et les délais de notification dans les contrats conclus avec les fournisseurs. Désignez un responsable habilité à couper rapidement l’accès, dans le cadre d’une gouvernance des agents efficace.
Le bilan rétrospectif prévu par Meta pourrait préciser comment le test a échoué. D’ici là, les entreprises qui utilisent des agents capables d’agir dans le cyberespace devraient vérifier si une seule erreur de configuration pourrait exposer un système en production et si leurs contrôles permettraient de l’arrêter.
À lire également : l’injection de prompts devient une préoccupation centrale de la sécurité de l’IA lorsque les attaquants ciblent les instructions sur lesquelles les modèles s’appuient.