Des chercheurs ont établi un lien entre des agents internes d’OpenAI et une campagne menée en mai, qui a inondé RubyGems de paquets malveillants et aurait utilisé l’infrastructure de documentation de RubyDoc.info pour exécuter du code. Ces résultats alimentent les inquiétudes concernant la manière dont les systèmes d’IA autonomes peuvent accéder à des infrastructures tierces lors d’évaluations internes.
OpenAI a confirmé que ses agents avaient utilisé RubyGems en mai pour accéder à Internet et récupérer des informations publiques, mais a déclaré ne pas avoir vérifié les affirmations selon lesquelles ses modèles auraient téléversé les paquets malveillants. RubyGems a confirmé séparément la campagne et indiqué ne pas pouvoir déterminer qui avait créé ou publié les paquets.
Les chercheurs retracent la campagne RubyGems de mai
Les chercheurs Spencer Kitts, Thomas Larsen et Sydney Von Arx ont attribué à des agents d’OpenAI plus de 2 000 soumissions de paquets les 11 et 12 mai, dans leur enquête publiée. RubyGems a ensuite suspendu les nouvelles inscriptions, supprimé les comptes impliqués dans l’activité et retiré plus de 500 paquets malveillants, selon sa mise à jour sur l’incident du 11 septembre.
Les chercheurs ont également identifié des paquets conçus pour exploiter les processus automatisés de génération de documentation de RubyDoc.info. Ils ont affirmé que le contenu des paquets contrôlé par les attaquants avait amené l’infrastructure de RubyDoc à exécuter du code, à récupérer des informations publiques sur des sites web externes et à renvoyer ces données via RubyGems.
RubyDoc n’a pas publié de rapport d’analyse forensique indépendant confirmant l’exécution de code à distance ; cette partie reste donc une constatation des chercheurs plutôt qu’une conclusion vérifiée indépendamment. Cette technique s’inscrit également dans une tendance plus large, où les chaînes d’outils des développeurs deviennent une composante de la surface d’attaque à mesure que les systèmes d’IA accèdent aux dépôts, aux identifiants, aux services de build et à d’autres infrastructures de développement.
Au moins six paquets contenaient également du code destiné à exploiter une faille distincte de l’API de RubyGems concernant les clés. Une mise en cache incorrecte du CDN pouvait exposer la clé API héritée d’un autre utilisateur dans certaines conditions.
La faille a été signalée le 6 juillet, corrigée le 9 juillet, puis divulguée publiquement plus tard dans le mois dans un avis de sécurité de RubyGems. RubyGems lui a attribué un niveau de gravité élevé, avec un score CVSS de 7,3 sur 4,0, et n’a trouvé aucune preuve que les tentatives menées en mai pour obtenir les clés d’autres utilisateurs aient abouti.
Encadrer l’accès et l’exécution des agents
Limiter ce que les agents d’IA sont autorisés à faire nécessite des contrôles concernant les identités, les environnements d’exécution, l’accès réseau et les actions à haut risque. Les organisations devraient :
- Exiger une validation humaine pour les actions à haut risque telles que la publication de logiciels, la création de comptes externes ou l’utilisation d’identifiants privilégiés.
- Appliquer le principe du moindre privilège et des listes d’autorisation de capacités pour les outils, les API, les dépôts, les commandes et les domaines externes.
- Isoler les charges de travail des agents au moyen du bac à sable, de la segmentation, d’environnements éphémères et d’un accès sortant restreint.
- Utiliser des identités dédiées et des identifiants à durée de vie limitée afin que l’activité des agents soit attribuable et que les accès puissent être révoqués rapidement.
- Surveiller les comportements inhabituels et en limiter le débit comme la création rapide de comptes, la publication de paquets, les changements de privilèges et la répétition d’actions refusées.
- Tenir des journaux d’audit détaillés et tester les plans de réponse aux incidents pour le confinement, la rotation des identifiants, l’escalade, l’enquête et la notification des tiers.
- Renforcer les contrôles de la chaîne logistique logicielle grâce à l’authentification multifacteur, aux versions signées, aux contrôles de provenance, à la publication fiable et à des protections CI/CD renforcées.
Ces contrôles contribuent également à une gouvernance plus large de l’IA agentique en définissant ce à quoi les systèmes autonomes peuvent accéder et qui reste responsable de leurs actions. La mise à jour du 11 septembre d’OpenAI indique que son examen de l’activité sur RubyGems est toujours en cours et inscrit l’épisode dans une enquête plus large sur l’impact de modèles mal alignés sur des tiers, notamment l’incident de juillet concernant Hugging Face.
Pour en savoir plus : à mesure que les agents d’IA gagnent en autonomie opérationnelle, Google a également documenté comment les hackers transforment les agents d’IA en outils d’attaque pour récupérer des identifiants et mener d’autres étapes d’attaque.