L’Australie entend renforcer la supervision des systèmes d’IA puissants après qu’un modèle expérimental d’OpenAI a accédé à des ressources gouvernementales auxquelles il n’était pas autorisé à accéder.
Le Premier ministre Anthony Albanese a annoncé le 10 novembre que le gouvernement avait accepté 18 recommandations issues d’un examen de l’incident, notamment des propositions visant à renforcer les exigences de sécurité et à rendre obligatoire le signalement des incidents graves liés à l’IA.
Cette décision fait suite aux critiques visant la gestion de l’incident de juin par OpenAI, en particulier le délai entre l’identification de l’activité et l’information des agences australiennes concernées.
Les réformes proposées soulèvent une question plus vaste : qui est responsable lorsqu’un système d’IA agit au-delà de l’autorité qui lui a été accordée ?
Un peu de contexte
Alors que l’année n’est pas encore terminée, un grand nombre de titres consacrés à l’IA cette année ont porté sur des modèles d’IA devenus incontrôlables, et les modèles d’OpenAI semblent avoir pris cette nouvelle liberté un peu trop au sérieux.
L’un des nombreux incidents s’est produit en juin et s’est étendu jusqu’en Australie, où un modèle expérimental d’OpenAI a accédé à des ressources auxquelles il n’était pas autorisé à accéder.
Mais l’accès non autorisé n’était pas le seul problème. Selon The Guardian, OpenAI a identifié l’activité en août, mais n’a commencé à informer les agences du gouvernement australien concernées qu’à la mi-septembre.
Ce délai a suscité les critiques du gouvernement, notamment sur les raisons pour lesquelles l’entreprise avait mis des semaines à divulguer un incident impliquant son modèle et des infrastructures gouvernementales.
OpenAI a par la suite reconnu qu’elle aurait dû mieux gérer sa réponse et a présenté les mesures qu’elle prendrait pour faire mieux.
L’Australie renforce les exigences en matière de sécurité et de signalement de l’IA
La réponse de l’Australie va au-delà des critiques visant OpenAI. Le gouvernement a accepté 18 recommandations issues de l’examen de l’incident et cherche à renforcer la supervision des développeurs d’IA de pointe.
Les mesures proposées comprennent l’obligation, pour les développeurs, de maintenir des contrôles de sécurité, d’identifier et de gérer les risques graves, de signaler les incidents importants et de faciliter les évaluations indépendantes de leurs modèles.
Le gouvernement envisage également de renforcer les mécanismes de responsabilité, notamment avec une éventuelle infraction de « non-prévention » pour les développeurs qui ne prendraient pas de mesures raisonnables afin d’empêcher certains préjudices.
Ces propositions ne constituent pas encore des obligations légales exécutoires. Leur portée définitive, leur calendrier de mise en œuvre et les sanctions dépendront des prochaines mesures réglementaires et législatives du gouvernement.
- Maintenir des contrôles de sécurité tout au long du développement et du déploiement des modèles.
- Identifier et gérer les risques graves associés à leurs modèles.
- Signaler rapidement les incidents au gouvernement australien.
- Autoriser les évaluations indépendantes de leurs modèles.
- Publier des cadres de sécurité et de sûreté couvrant la gouvernance, la gestion des risques et la transparence.
- Répondre à l’évolution des normes à mesure que la technologie de l’IA évolue.
Le signalement obligatoire des incidents est particulièrement pertinent dans le cas d’OpenAI. L’examen recommande un signalement dans des délais définis des incidents liés à la sécurité de l’IA, notamment des comportements inattendus des agents. Cette mesure répond aux critiques selon lesquelles OpenAI aurait attendu des semaines après avoir identifié l’activité avant d’en informer les autorités australiennes.
La proposition envisage également une infraction de «non-prévention» , qui pourrait engager la responsabilité pénale des développeurs lorsque leurs modèles causent un préjudice et qu’ils ne prennent pas de mesures raisonnables pour l’empêcher. Il s’agit de recommandations à examiner ultérieurement, et non d’infractions existantes.
The Guardian rapporte qu’OpenAI ne fera pas l’objet de sanctions pénales pour l’incident de juin.
Même ainsi, Albanese a maintenu que l’incident de juin était inacceptable, déclarant qu’il « ne pouvait pas se reproduire ». Le ministre de l’Intérieur Tony Burke a quant à lui insisté sur la nécessité d’une divulgation immédiate, affirmant que l’Australie devait « s’assurer que, lorsque cela se produit, le signalement ait lieu et ait lieu immédiatement ».
Pourrait également s’appliquer aux entreprises qui déploient l’IA
Alors que la responsabilité des actions de l’IA a historiquement constitué une zone grise, la dernière initiative de l’Australie pourrait contribuer à établir des attentes plus claires pour les entreprises qui développent et déploient ces systèmes.
Ce ne serait pas la première tentative de l’Australie d’établir un précédent en matière de politique mondiale. Elle a été la première à instaurer une interdiction des réseaux sociaux pour les enfants, une mesure qui a depuis inspiré des restrictions et des propositions similaires dans le monde entier.
Ses réglementations proposées sur l’IA pourraient suivre une trajectoire similaire, alors que les gouvernements cherchent notamment à déterminer qui doit être tenu responsable lorsque des systèmes d’IA agissent au-delà de leur objectif prévu.
Seemant Sehgal, fondateur et PDG de BreachLock, pense que d’autres gouvernements pourraient à terme suivre l’exemple de l’Australie : « L’acceptation par l’Australie des 18 recommandations et son orientation vers le signalement obligatoire des incidents sont la bonne décision. Tous les autres gouvernements finiront par en arriver là. »
Plus important encore, la nouvelle politique australienne pourrait s’étendre au-delà des entreprises qui conçoivent les modèles d’IA, jusqu’à celles qui les mettent en œuvre.
Cela crée un niveau de responsabilité supplémentaire. Si un agent accède à des informations auxquelles il ne devrait pas avoir accès ou exécute une action non autorisée, en particulier si celle-ci déborde sur d’autres entreprises ou affecte des clients, la question ne peut pas se limiter à déterminer si le développeur a mis en place des garde-fous adéquats.
Les entreprises pourraient donc devoir démontrer non seulement qu’elles ont choisi un fournisseur d’IA réputé, mais aussi qu’elles ont pris des mesures raisonnables pour contrôler ce que sa technologie peut faire dans leurs propres environnements.
Ce que les développeurs et les entreprises doivent retenir au sujet de l’IA
Tous les développeurs et toutes les entreprises ne disposent pas nécessairement des ressources nécessaires pour maintenir des équipes dédiées à la sécurité de l’IA ou à la conformité, en particulier les petites équipes, mais ils peuvent tout de même mettre en place des garde-fous de base.
Que vous développiez ou déployiez des agents d’IA, commencez par appliquer les mesures suivantes :
- Restreindre l’accès: N’accordez aux agents que les autorisations et les données dont ils ont besoin.
- Exiger une validation humaine: Définissez ce que recouvrent les actions sensibles pour votre organisation et soumettez-les à un examen humain.
- Surveiller l’activité : Consignez les ressources auxquelles les agents accèdent et les actions qu’ils effectuent.
- Tester avant le déploiement : Vérifiez le comportement des agents lorsqu’ils reçoivent des instructions inattendues ou des demandes d’accès.
- Se préparer aux incidents : Établir qui intervient, comment révoquer les accès et quand informer les parties concernées.
Les réformes proposées par l’Australie témoignent d’une pression croissante sur les développeurs d’IA, sommés de démontrer que leurs systèmes peuvent être déployés en toute sécurité et que les incidents graves seront signalés rapidement.
Les exigences définitives de la législation restent incertaines, mais la leçon en matière de sécurité est déjà claire : les organisations doivent comprendre à quelles ressources leurs agents d’IA peuvent accéder, quelles actions ils peuvent effectuer et à quelle vitesse ces actions peuvent être interrompues en cas de problème.
Par ailleurs, le Bureau of Internal Revenue des Philippines enquête sur des accusations selon lesquelles des pirates auraient dérobé environ 10 millions de dossiers de contribuables, l’organisme reconnaissant par la suite que certaines informations des profils de contribuables pourraient avoir été exposées, tout en affirmant que les dossiers de déclaration et de paiement restent intacts.