Des chercheurs de l’université Cornell ont révélé que les agents ChatGPT pouvaient être manipulés pour contourner les protections CAPTCHA et les règles de sécurité internes, soulevant de sérieuses inquiétudes quant à la sécurité des grands modèles de langage (LLM) dans les environnements d’entreprise.
En utilisant une technique connue sous le nom d’injection de prompt, l’équipe a démontré que même les systèmes anti-bot avancés et les garde-fous de l’IA pouvaient être contournés en cas de manipulation du contexte.
Comment les chercheurs ont contourné les restrictions des CAPTCHA
Les systèmes CAPTCHA sont conçus pour empêcher les robots d’imiter les actions humaines. De même, ChatGPT est programmé pour refuser les demandes visant à résoudre ces tests. Toutefois, les chercheurs de Cornell ont obtenu une avancée décisive en reformulant le problème plutôt qu’en contestant directement les politiques du modèle.
L’attaque comportait deux étapes.
- Tout d’abord, les chercheurs ont préparé un modèle ChatGPT-4o standard avec un scénario anodin : tester de « faux » CAPTCHA dans le cadre d’un projet universitaire.
- Une fois que le modèle eut accepté, ils copièrent la conversation dans une nouvelle session en la présentant comme un contexte préalablement approuvé.
Comme l’IA avait hérité de ce contexte empoisonné, elle a accepté la tâche de résolution des CAPTCHA comme légitime, contournant ainsi ses restrictions de sécurité initiales.
Les CAPTCHA vaincus par ChatGPT
L’agent manipulé a pu résoudre différents types de défis :
- Google reCAPTCHA v2, v3 et éditions Enterprise
- Tests fondés sur des cases à cocher et du texte
- Cloudflare Turnstile
S’il a éprouvé des difficultés avec les énigmes nécessitant un contrôle moteur précis, comme les défis reposant sur le déplacement d’un curseur ou la rotation d’éléments, le modèle a réussi certains CAPTCHA visuels complexes, notamment reCAPTCHA v2 Enterprise — ce qui constitue le premier cas documenté d’un agent GPT venant à bout de tests visuels aussi avancés.
Il est à noter que, durant les tests, le modèle a fait preuve d’un comportement adaptatif. Lorsqu’une solution échouait, il générait des textes tels que « Échec. Je vais réessayer en faisant glisser avec plus de contrôle… pour reproduire un mouvement humain. »
Cette réponse non sollicitée suggère l’émergence de stratégies et indique que les modèles peuvent élaborer des tactiques pour paraître plus humains lorsqu’ils interagissent avec des mécanismes anti-bot.
Conséquences pour la sécurité des entreprises
Ces résultats mettent en évidence une vulnérabilité des systèmes d’IA : les politiques appliquées au moyen d’une détection statique de l’intention ou de garde-fous superficiels peuvent être contournées si le contexte est manipulé.
Dans un contexte professionnel, des techniques similaires pourraient convaincre un agent d’IA qu’un véritable contrôle d’accès est un « test », ce qui pourrait entraîner des fuites de données, un accès non autorisé aux systèmes ou des violations de politiques.
À mesure que les organisations intègrent les LLM dans leurs flux de travail — du support client au DevOps — l’empoisonnement du contexte et l’injection de prompts représentent un vecteur de menace grandissant.
Des attaquants pourraient exploiter ces faiblesses pour demander à des outils d’IA de traiter des fichiers confidentiels, d’exécuter du code malveillant ou de générer du contenu interdit tout en semblant respecter les politiques internes.
Renforcer les garde-fous de l’IA
Intégrité du contexte et hygiène de la mémoire
Pour limiter ces risques, les experts recommandent de mettre en œuvre des contrôles d’intégrité du contexte et des mécanismes d’hygiène de la mémoire qui valident ou assainissent les données des conversations précédentes avant qu’elles n’influencent les décisions d’un modèle. En isolant les tâches sensibles et en assurant une traçabilité stricte de la provenance des données d’entrée, les organisations peuvent réduire le risque d’empoisonnement du contexte.
Red teaming continu
Les entreprises qui déploient des LLM devraient mener en continu des exercices de red team afin d’identifier les faiblesses du comportement des modèles. Tester de manière proactive les agents face à des prompts adverses — notamment dans des scénarios d’injection de prompts — contribue à renforcer les politiques avant que de véritables attaquants ne les exploitent.
Les enseignements des recherches sur le jailbreak
Le contournement des CAPTCHA s’inscrit dans un ensemble plus large de travaux sur le « jailbreak » des LLM. Des techniques comme Content Concretization (CC) montrent que les attaquants peuvent affiner progressivement des demandes malveillantes abstraites pour les transformer en code exécutable, augmentant considérablement les taux de réussite du contournement des filtres de sécurité.
Les garde-fous de l’IA doivent évoluer au-delà des règles statiques en intégrant des stratégies de défense multicouches et des évaluations adaptatives des risques.
L’étude de Cornell montre que les systèmes d’IA, lorsqu’ils sont confrontés à un contexte soigneusement manipulé, peuvent subvertir leurs propres mécanismes de sécurité et même vaincre des outils de sécurité matures comme les CAPTCHA.
À mesure que les entreprises adoptent l’IA générative à grande échelle, il sera essentiel de maintenir des garde-fous robustes, de surveiller la mémoire des modèles et de les tester contre des méthodes avancées de jailbreak afin de prévenir les utilisations abusives.