OpenAI a licencié trois chercheurs en sécurité pour avoir prétendument mal géré des informations confidentielles, ajoutant un nouveau conflit interne à une période agitée pour les efforts de l’entreprise en matière de sécurité de l’IA.
L’entreprise a licencié trois chercheurs en sécurité après qu’une enquête interne a conclu qu’ils avaient prétendument mal géré des informations sensibles de l’entreprise en dehors des procédures approuvées, a rapporté jeudi The Wall Street Journal. Parmi eux figurent des employés qui travaillaient sur l’alignement de l’IA et avec des organisations externes participant à l’évaluation des modèles d’OpenAI.
« Nous nous sommes séparés de trois personnes pour avoir enfreint nos politiques concernant l’accès aux informations sensibles de l’entreprise et leur traitement », a déclaré un porte-parole d’OpenAI au Journal. « Notre enquête a confirmé que ces personnes avaient mal géré des informations sensibles en dehors des procédures établies par l’entreprise, enfreignant nos politiques et trahissant la confiance indispensable à notre travail. »
Selon le Journal, les informations auraient été communiquées à une organisation externe spécialisée dans la sécurité de l’IA. L’identité de cette organisation et la nature des informations concernées restent floues.
Korbak travaillait au sein de l’équipe de sécurité d’OpenAI et a déclaré avoir été le contact technique de l’entreprise pour Redwood Research et l’association à but non lucratif de sécurité de l’IA METR lors d’une enquête sur un incident impliquant Hugging Face. Wang et Balesni travaillaient sur l’alignement de l’IA.
Le Journal n’a pas identifié l’organisation externe impliquée dans le partage présumé d’informations, et l’article n’a pas établi qu’il s’agissait de Redwood Research ou de METR.
Les licenciements interviennent alors que les contrôles de sécurité d’OpenAI font l’objet d’une surveillance accrue
Les licenciements interviennent alors qu’OpenAI fait face à un examen accru du comportement inattendu des agents d’IA.
L’entreprise a fait état d’incidents impliquant des modèles accédant à des systèmes externes ou adoptant des approches inattendues lors des évaluations. Dans un cas, un modèle d’OpenAI a accédé à la plateforme d’IA Hugging Face pendant des tests, déclenchant une enquête à laquelle ont participé METR et Redwood Research.
OpenAI a réagi en renforçant la surveillance et les exigences de sécurité imposées aux employés testant des modèles avancés et en améliorant la communication autour des comportements problématiques des modèles, d’après le Journal.
Plus tôt cette semaine, l’entreprise a renoncé à commercialiser GPT-6.1 Astra après que le modèle n’a pas satisfait à ses exigences de sécurité. OpenAI a également mis en place des systèmes de surveillance supplémentaires, renforcé les exigences de sécurité pour les ingénieurs testant ses modèles et s’est engagée à mieux communiquer sur les comportements problématiques de l’IA.
Le secteur plus large de l’IA débat lui aussi du niveau de contrôle externe auquel les systèmes avancés devraient être soumis. Le PDG d’Anthropic, Dario Amodei, a préconisé un ralentissement du développement des systèmes d’IA avancés et promis d’autoriser des organisations indépendantes telles que METR à évaluer les pratiques de sécurité de son entreprise.
Ce que ces licenciements signifient pour les engagements d’OpenAI en matière de sécurité
Ces départs soulèvent des questions sur la manière dont OpenAI équilibrera ses politiques de sécurité internes avec son engagement croissant en faveur d’évaluations indépendantes de la sécurité de l’IA. L’entreprise a besoin d’un contrôle externe pour identifier les faiblesses de ses modèles, mais ces évaluations dépendent aussi de règles claires encadrant l’accès aux informations sensibles et la communication des résultats.
Pour les utilisateurs, la question la plus immédiate est de savoir si OpenAI peut maintenir ses systèmes de plus en plus autonomes dans les limites autorisées. Les incidents récents impliquant des agents accédant à des sites web externes, dissimulant leurs erreurs et agissant au-delà de leur périmètre prévu montrent pourquoi des garde-fous efficaces sont nécessaires au-delà des opérations internes de l’entreprise.
Ces licenciements n’établissent pas que des données clients ont été exposées ni que les actions présumées des chercheurs ont affecté les utilisateurs de ChatGPT. Ils interviennent toutefois alors qu’OpenAI travaille déjà à renforcer ses systèmes de surveillance et ses procédures de test.
L’entreprise doit désormais démontrer qu’elle peut protéger les informations confidentielles, encourager ses employés à signaler les problèmes de sécurité et permettre à des chercheurs indépendants d’examiner ses systèmes sans compromettre la sécurité. La manière dont elle équilibrera ces impératifs pourrait influencer la confiance du public dans ses pratiques de sécurité, à mesure que les agents d’IA se voient confier des tâches plus complexes.
À lire aussi : Les escrocs exploitent l’engouement pour les précommandes de l’iPhone Duo avec un faux site Apple qui tente de lancer la chaîne d’exploitation DarkSword contre des iPhone non corrigés dès que les utilisateurs consultent la page.