Anthropic donne à des chercheurs externes en sécurité de l’IA un accès à ses systèmes internes à un niveau habituellement réservé à ses employés.
L’entreprise a annoncé le 15 octobre avoir intégré six employés de METR, une organisation à but non lucratif qui évalue les modèles d’IA de pointe, en leur fournissant du matériel informatique de l’entreprise, des bureaux et un accès aux outils internes comparable à celui dont disposent les propres équipes d’Anthropic chargées de l’évaluation des risques.
À l’exception d’un nombre limité de catégories (les données clients, les informations protégées par le secret professionnel entre avocat et client et les détails de l’architecture des modèles), les employés d’Anthropic sont encouragés à partager des informations avec le personnel de METR comme ils le feraient avec des collègues travaillant sur les risques liés à l’alignement, a indiqué l’entreprise dans un billet de blog.
METR peut publier ses conclusions sur les risques liés à Anthropic, les incidents et les pratiques de sécurité sans l’autorisation préalable de l’entreprise.
Anthropic conserve le droit d’exiger des suppressions dans ces catégories prédéfinies, mais METR peut contester publiquement le bien-fondé de ces suppressions, ce qui donne aux évaluateurs une certaine capacité à remettre en cause les restrictions portant sur les informations qu’ils divulguent.
« Conformément à nos politiques de transparence, notre rapport décrira ouvertement la portée, l’accès et les autres limites de notre travail », a déclaré METR, selon Reuters.
Un système gradué de contrôle
Anthropic met en place trois niveaux d’accès pour les évaluateurs externes de la sécurité de l’IA, avec des règles différentes régissant ce que les chercheurs peuvent examiner et publier.
Le premier niveau couvre des enquêtes au périmètre étroit qui nécessitent une autorisation avant publication. Le deuxième accorde aux évaluateurs un accès plus large et les autorise à publier sans validation préalable, sous réserve de certaines suppressions.
METR est actuellement la seule organisation du troisième niveau, qui donne accès à des systèmes internes comparable à celui dont disposent les employés d’Anthropic travaillant sur l’évaluation des risques liés à l’IA.
SecureBio, une organisation à but non lucratif spécialisée dans la biosécurité, se situe au premier niveau et examine le chapitre consacré aux armes chimiques et biologiques du rapport d’Anthropic sur les risques publié en août. Anthropic travaille également avec Faculty, l’activité IA d’Accenture, et mène des discussions préliminaires avec Hugging Face.
« Nous intégrons volontairement des évaluateurs, et nous pensons que chaque entreprise d’IA de pointe devrait faire de même », a déclaré Anthropic. L’entreprise a comparé cet arrangement à la réglementation bancaire, dans laquelle des contrôleurs résidents travaillent au sein des plus grandes banques parce que ces établissements comprennent mieux que des personnes extérieures leurs propres profils de risque.
Cette annonce fait suite à un article de Reuters selon lequel Anthropic et OpenAI avaient cherché à exercer un contrôle important sur ce que les évaluateurs externes pouvaient publier, par crainte de divulguer des secrets commerciaux. Un point de désaccord majeur tient au fait que les informations considérées par les entreprises comme leur propriété intellectuelle peuvent également être pertinentes pour évaluer les risques liés aux modèles.
Des experts ont exprimé des inquiétudes quant à l’indépendance des évaluateurs, puisque les entreprises d’IA choisissent elles-mêmes qui réalise les examens.
Pourquoi cela crée un précédent
La décision d’Anthropic pourrait constituer un premier test pour déterminer si des évaluations volontaires menées par des tiers peuvent assurer un contrôle véritable des systèmes d’IA avancés sans exigences réglementaires officielles.
L’accord de la Maison-Blanche signé fin septembre par Anthropic, Google, Meta, OpenAI, SpaceX et Nvidia encourageait les entreprises à « s’associer à un auditeur ou à un évaluateur externe indépendant », mais ne fixait aucune obligation contraignante.
Si l’évaluation intégrée de METR produit des conclusions crédibles et critiques, elle pourrait devenir un modèle que les concurrents se sentiraient contraints d’adopter à leur tour. Si elle donne lieu à des évaluations complaisantes ou s’enlise dans des litiges sur les suppressions, elle pourrait alimenter les arguments selon lesquels l’autorégulation est insuffisante.
La structure graduée des niveaux offre aux régulateurs un modèle pratique : plutôt que d’exiger immédiatement un accès complet, le contrôle pourrait s’étendre à mesure que la confiance et l’expertise se développent. Cette flexibilité pourrait s’avérer essentielle à mesure que les normes de gouvernance de l’IA évoluent.
Ce que des évaluations indépendantes pourraient changer pour la sécurité de l’IA
Si vous utilisez le chatbot Claude d’Anthropic, cet arrangement ne changera pas directement votre expérience. Mais il pourrait influer sur ce que vous apprendrez à terme des capacités et des limites du modèle.
Les évaluations publiées par METR pourraient offrir le regard externe le plus franc sur la manière dont Claude gère les tâches à risque ou sur ses lacunes. Les utilisateurs soucieux de transparence disposent désormais d’une nouvelle source d’information qu’Anthropic ne peut pas bloquer, mais seulement expurger.
Pour les organisations qui utilisent Claude ou évaluent des systèmes d’IA destinés à des activités sensibles, des évaluations indépendantes pourraient apporter un éclairage supplémentaire sur la manière dont les développeurs identifient, testent et traitent les risques de sécurité.
L’accès accordé à METR pourrait permettre aux chercheurs d’examiner les pratiques de sécurité plus en détail que ne le permettrait la seule réalisation de tests externes. Toutefois, la valeur de ces évaluations dépendra de ce que les chercheurs pourront étudier, de la quantité d’informations qu’ils pourront divulguer et de la capacité de leurs conclusions à entraîner des changements significatifs.
Pour les équipes de sécurité, ces rapports pourraient devenir une source de données supplémentaire lors de l’évaluation des fournisseurs d’IA. Ils ne doivent pas remplacer les propres tests de sécurité d’une organisation, ses vérifications préalables concernant les fournisseurs ni les contrôles régissant l’accès des systèmes d’IA aux informations sensibles.
Autres actualités : Firefox 158 corrige des failles de sécurité, notamment des risques de sortie de bac à sable susceptibles de compromettre les protections du navigateur contre le code malveillant.