Certains des plus grands noms de l’intelligence artificielle (IA) parlent soudain de ralentir le rythme.
Cette vidéo a été générée par une IA et met en scène un avatar IA.
Le PDG d’OpenAI, Sam Altman, a soutenu les appels à ralentir le développement de pointe alors que des systèmes d’IA toujours plus performants suscitent des inquiétudes quant à la capacité des développeurs à continuer de les améliorer plus vite qu’ils ne peuvent les comprendre et les contrôler.
Le PDG d’Anthropic, Dario Amodei, a également appelé à une coordination accrue entre les entreprises d’IA de pointe, notamment au moyen d’évaluations indépendantes et de normes de sécurité communes.
Je pense que cette discussion mérite d’avoir lieu. Mais, du point de vue de la cybersécurité, je vois un autre problème qui ne peut pas attendre la prochaine génération d’IA.
Les organisations donnent déjà aux agents d’IA des identifiants et un accès à leurs systèmes. Ces agents peuvent également effectuer des actions avec une intervention humaine limitée.
La sécurité de l’IA est donc aujourd’hui un problème opérationnel, et pas seulement un problème théorique pour demain.
La sécurité de l’IA devient un problème de contrôle des accès
Les incidents récents impliquant Claude d’Anthropic montrent ce qui peut se produire lorsque des systèmes autonomes opèrent en dehors des environnements qui leur sont destinés.
Anthropic a révélé que ses modèles avaient obtenu un accès non autorisé à de véritables systèmes tiers lors de plusieurs évaluations.
L’entreprise a ensuite étendu son enquête à environ 481 millions de transcriptions et reconnu des faiblesses liées à la sécurité opérationnelle et au comportement des modèles.
À mes yeux, c’est à ce moment que la discussion sur la sécurité de l’IA commence à devenir beaucoup plus familière pour les équipes de cybersécurité.
Oleksandr Yaremchuk, directeur technique et cofondateur de Manifold Security, a déclaré dans un courriel adressé à eSecurityPlanet que ralentir le développement de pointe ne pouvait pas remplacer la sécurisation des agents déjà déployés par les organisations.
« Ralentir le développement de pointe est la bonne discussion à avoir, mais cela ne peut pas devenir un substitut à la sécurisation de l’IA que nous avons déjà mise dans le monde », a déclaré Yaremchuk.
Il a comparé l’IA autonome à des matières dangereuses.
Les organisations n’attendent pas que des substances dangereuses deviennent encore plus dangereuses avant de contrôler qui en a la garde et qui peut y accéder. Elles surveillent également où vont ces matières et établissent les responsabilités lorsque quelque chose tourne mal.
Je trouve cette analogie particulièrement pertinente pour les agents d’IA.
Si un agent peut interagir avec l’infrastructure de production, l’équipe de sécurité doit savoir quels identifiants il détient et quelles ressources il peut atteindre. Les équipes doivent également pouvoir voir ce que l’agent a fait et révoquer rapidement son accès lorsque cela est nécessaire.
Les mêmes principes que nous appliquons aux identités humaines et machine ne devraient pas disparaître simplement parce que l’identité qui effectue l’action est une IA.
Les garde-fous volontaires se heurtent à un problème d’incitations
Demander aux entreprises d’IA concurrentes de ralentir volontairement leur développement pose également un problème pratique.
Jeremiah Fowler, chercheur en cybersécurité chez Black Hills Information Security, souligne les énormes incitations concurrentielles qui poussent le développement dans la direction opposée.
« La vérité dérangeante, c’est que les entreprises d’IA ont intérêt à développer des modèles avancés meilleurs que ceux de leurs concurrents », a déclaré Fowler.
Cela rend la retenue volontaire difficile lorsque les entreprises craignent de perdre leur position sur le marché.
Fowler estime que des garde-fous efficaces devraient établir des normes minimales de sécurité contraignantes et imposer des tests et des audits indépendants. Ils devraient également limiter les autorisations autonomes tout en maintenant l’intervention humaine.
Certains développeurs d’IA s’orientent déjà vers des cadres d’évaluation plus rigoureux. Anthropic, par exemple, maintient une Responsible Scaling Policy et une Frontier Safety Roadmap axées sur les mesures de protection et la sécurité. Cette feuille de route traite également de l’alignement et des politiques publiques.
L’entreprise a également déclaré qu’un ralentissement coordonné dans l’ensemble du secteur devrait être conforme à la loi et pouvoir être vérifié de manière indépendante. Il nécessiterait aussi une coopération entre les pouvoirs publics et l’industrie.
Les évaluations indépendantes pourraient constituer un niveau de contrôle supplémentaire, à mesure notamment que les modèles deviennent capables d’accomplir des tâches toujours plus sophistiquées.
Mais les évaluations seules ne sécuriseront pas un agent d’IA exécuté au sein d’une entreprise.
Les organisations doivent sécuriser l’IA dont elles disposent déjà
Pour les responsables de la sécurité, je vois deux problèmes distincts dans ce débat.
Le secteur doit déterminer comment développer en toute sécurité des modèles de pointe.
Les organisations, quant à elles, doivent déterminer comment contrôler les systèmes d’IA déjà connectés à leurs environnements.
Cela signifie qu’il faut traiter les agents autonomes comme des identités privilégiées, plutôt que comme une simple fonctionnalité logicielle.
Il faut leur accorder uniquement les autorisations nécessaires à leurs tâches et protéger les identifiants qu’ils utilisent. Leurs actions doivent également être journalisées afin que les équipes de sécurité puissent surveiller tout comportement inhabituel.
Les organisations devraient fixer des limites claires à ce que les agents peuvent exécuter de manière autonome. Les humains devraient également pouvoir mettre immédiatement fin à leur accès lorsque cela est nécessaire.
Yaremchuk résume le problème en trois questions simples :
- Qu’a fait l’agent ?
- À quoi avait-il accès ?
- Auriez-vous pu l’arrêter ?
J’en ajouterais une autre : au bout de combien de temps sauriez-vous que vous deviez intervenir ?
Le débat plus large sur la sécurité de l’IA prendra du temps à être tranché. Les équipes de sécurité ne peuvent pas attendre que ce débat détermine comment les agents sont surveillés, à quoi ils peuvent accéder et quand les humains doivent intervenir.
Appliquer le zero trust peut aider les organisations à limiter les accès des agents d’IA et des autres identités, tout en vérifiant en permanence si ces accès doivent être autorisés.