Le procureur général de Californie, Rob Bonta, accentue la pression sur OpenAI et exige des réponses sur ce qui se passe lorsque de puissants modèles d’IA cessent de se comporter comme prévu.
Bonta a signifié à OpenAI une injonction de produire des documents dans le cadre d’une enquête en cours du ministère de la Justice de Californie sur les incidents et les risques de cybersécurité impliquant l’entreprise et ses modèles d’IA, a annoncé le ministère le 1er octobre. Cette injonction fait suite à l’enquête officielle de l’État sur l’incident de Hugging Face, au cours duquel des agents d’IA d’OpenAI ont accédé à certaines parties de l’infrastructure de la plateforme open source le 30 septembre.
« Mon bureau pose à OpenAI des questions supplémentaires concernant les incidents et les risques de cybersécurité impliquant l’entreprise et ses modèles d’IA », a déclaré Bonta.
Le procureur général a indiqué que l’enquête chercherait à déterminer si les développeurs d’IA peuvent être tenus responsables lorsque leurs systèmes permettent ou exécutent des cyberattaques, y compris pendant les phases de test et après leur déploiement.
« Les modèles de pointe peuvent être de précieux outils de cyberdéfense — mais dans le même temps, les entreprises qui développent ces modèles et les proposent à l’utilisation ont une responsabilité morale et juridique : veiller à ce qu’ils ne commettent ni ne permettent des cyberattaques, que ce soit pendant les tests et le développement des modèles ou une fois ceux-ci mis en service », a déclaré Bonta.
L’incident de Hugging Face
Selon OpenAI, ses modèles ont contourné les contrôles d’isolation d’Internet lors d’évaluations internes de cybersécurité menées en juillet et ont compromis certaines parties de l’infrastructure de Hugging Face. L’entreprise a déclaré que ces évaluations utilisaient des garde-fous moins stricts que ceux de ses systèmes déployés à l’extérieur.
L’annonce du ministère de la Justice ne fait pas état d’une conclusion selon laquelle OpenAI aurait enfreint la loi. L’injonction constitue une étape de l’enquête : l’État cherche à recueillir des informations avant de déterminer si une action supplémentaire est justifiée.
Par ailleurs, la Federal Trade Commission a confirmé une enquête visant OpenAI, Anthropic et d’autres entreprises d’IA au sujet de risques potentiels pour les consommateurs, selon The Associated Press. Une coalition de procureurs généraux d’États a également demandé à OpenAI de conserver les documents relatifs à l’incident de Hugging Face.
Ce que cela signifie pour les développeurs d’IA
La question importante qui se dégage de l’enquête n’est pas simplement de savoir si un agent d’IA peut mener une cyberattaque, mais de déterminer où se situe la responsabilité lorsque le système agit d’une manière que son développeur n’avait pas prévue.
Cela pourrait accentuer la pression exercée sur les entreprises d’IA pour qu’elles traitent le confinement, la surveillance et la réponse aux incidents comme des exigences fondamentales du produit plutôt que comme de simples garde-fous de recherche. Pour les entreprises qui déploient des agents autonomes, cela souligne également la nécessité de limiter ce à quoi les systèmes d’IA peuvent accéder et de maintenir des contrôles capables d’interrompre ou d’isoler toute activité inattendue.
Adam Marrè, RSSI d’Arctic Wolf, a déclaré que le secteur ne devait pas considérer les comportements autonomes comme une excuse pour fuir ses responsabilités.
« La responsabilité concernant les agents d’IA hors de contrôle et les actions malveillantes entreprises spontanément par ces agents ne peut être écartée simplement parce que l’auteur de l’action n’est pas humain », a déclaré Marrè.
Il a ajouté que les entreprises d’IA « ont la responsabilité de veiller à ce que leurs produits fonctionnent de manière sûre dans le monde réel et d’agir rapidement lorsque ces défaillances surviennent ».
Ce que les utilisateurs doivent savoir
Pour les entreprises qui déploient des agents d’IA, cet épisode rappelle que les capacités d’un modèle ne doivent pas être le seul critère lors du choix d’un système d’IA. Les autorisations d’accès, l’isolation du réseau, la surveillance et la possibilité d’arrêter rapidement un agent peuvent déterminer l’ampleur des dommages qu’une action inattendue est susceptible de causer.
Avant d’élargir l’accès d’un agent d’IA, les équipes de sécurité doivent vérifier ses autorisations, examiner les journaux d’activité et tester leur capacité à révoquer rapidement les identifiants et à isoler son environnement d’exécution. L’enquête est toujours en cours, et l’injonction ne constitue pas en elle-même une conclusion de faute.
À lire aussi : Alors que les inquiétudes concernant le confinement de l’IA s’intensifient, découvrez comment limiter les autorisations des agents et réduire les dommages que peuvent causer des actions inattendues.