L’empoisonnement du GEO peut manipuler les réponses générées par l’IA

Alors que les organisations s’appuient de plus en plus sur des assistants IA pour la recherche et la prise de décision, les attaquants pourraient disposer d’un nouveau moyen d’influencer les réponses générées par l’IA sans compromettre les modèles sous-jacents. 

De nouvelles recherches de Lasso Security démontrent que l’optimisation des moteurs génératifs (GEO) — une pratique consistant à optimiser les contenus pour qu’ils soient inclus dans les réponses générées par l’IA — peut être manipulée afin de promouvoir des informations fausses ou dangereuses par l’intermédiaire de contenus web accessibles au public.

Principaux enseignements de la recherche sur l’empoisonnement du GEO

• Les chercheurs ont démontré que les attaquants peuvent manipuler les réponses générées par l’IA grâce à l’optimisation des moteurs génératifs (GEO), sans compromettre le modèle d’IA sous-jacent.
• L’attaque repose sur des contenus web accessibles au public et utilise notamment de fausses recommandations éditoriales et des sources corroborantes pour influencer les réponses de l’IA.
• Parmi les cinq modèles d’IA testés, Llama-4-Maverick et GPT-4o-mini se sont montrés les plus vulnérables, tandis que Grok et Claude Haiku ont affiché une forte résistance.
• Les fausses recommandations éditoriales se sont révélées être la technique la plus efficace, poussant Llama-4-Maverick à promouvoir de fausses affirmations dans jusqu’à 98 % des tests.
• Les organisations peuvent réduire les risques en validant les contenus récupérés, en vérifiant la crédibilité des sources et en mettant en place une gouvernance solide de l’IA ainsi que des contrôles de vérification des contenus.

Le GEO élargit la surface d’attaque de l’IA

Le GEO est l’équivalent, pour l’IA, de l’optimisation traditionnelle pour les moteurs de recherche (SEO). 

Au lieu de chercher à obtenir un classement élevé dans les résultats de recherche, le GEO vise à accroître la probabilité que des assistants IA tels que ChatGPT, Gemini, Perplexity ou Claude citent et résument des contenus spécifiques dans leurs réponses générées. 

Alors que les assistants IA récupèrent de plus en plus d’informations sur le web pour répondre aux questions des utilisateurs, les contenus qu’ils récupèrent peuvent influencer considérablement leurs réponses.

Les chercheurs ont cherché à déterminer si des techniques légitimes de GEO pouvaient également être détournées pour accroître la visibilité d’informations fausses. 

Contrairement aux attaques par injection de prompt ou à la compromission du modèle, l’attaque nécessite uniquement des pages web accessibles au public, optimisées à l’aide de pratiques courantes de GEO, sans accès au modèle d’IA ni à l’application elle-même.

Tester les modèles d’IA face à la manipulation du GEO

Pour évaluer le risque, les chercheurs ont créé un site web d’apparence légitime consacré aux recettes sans gluten, qui contenait une affirmation médicale volontairement fausse — selon laquelle l’argent colloïdal pourrait guérir la maladie cœliaque. 

Cette affirmation a ensuite été renforcée à l’aide de techniques standard de GEO, telles qu’une mise en forme structurée, des statistiques fabriquées, de fausses recommandations d’experts et des contenus éditoriaux corroborants.

L’expérience comprenait 5 525 tests sur cinq modèles d’IA de production : GPT-4o-mini, Llama-4-Maverick, DeepSeek-R1, Grok et Claude Haiku 4,5. 

Les chercheurs ont mesuré si les modèles citaient le contenu malveillant et s’ils promouvaient la fausse affirmation médicale dans leurs réponses.

Les résultats variaient considérablement. Llama-4-Maverick s’est révélé le plus vulnérable, tandis que GPT-4o-mini a également affiché une vulnérabilité importante. 

DeepSeek a fait preuve d’une résistance partielle, tandis que Grok et Claude Haiku ont résisté systématiquement aux tentatives de manipulation.

Les recommandations éditoriales ont eu le plus grand impact

Parmi les 24 techniques de GEO évaluées, les fausses recommandations éditoriales se sont révélées les plus efficaces.

Lorsque les chercheurs ont entouré la page web malveillante de plusieurs faux articles éditoriaux répétant la même affirmation, Llama-4-Maverick a promu les fausses informations dans 92 % des tests. 

L’association de recommandations éditoriales et d’un format de type liste a porté le taux de réussite à 98 %. 

GPT-4o-mini a également affiché une vulnérabilité accrue, promouvant la fausse affirmation dans 84 % des tests avec la même combinaison.

Les chercheurs ont constaté que les modèles d’IA traitaient fréquemment la répétition d’affirmations sur plusieurs sources comme une preuve de crédibilité, même lorsque les contenus justificatifs provenaient de sites web contrôlés par les attaquants.

Pourquoi ces résultats sont importants

Cette étude met en évidence un défi de sécurité croissant, alors que les organisations et les consommateurs accordent une confiance grandissante aux réponses générées par l’IA. 

Contrairement aux cyberattaques traditionnelles, la manipulation du GEO ne nécessite pas d’exploiter des vulnérabilités ni de compromettre des systèmes. 

Les attaquants peuvent au contraire influencer les contenus générés par l’IA en publiant simplement des pages web optimisées et en donnant l’impression d’une corroboration indépendante.

Les chercheurs soulignent que cette technique est conforme aux recommandations de l’OWASP concernant les risques de confiance excessive, lorsque les utilisateurs peuvent se fier à des informations générées par l’IA sans en vérifier l’exactitude. 

Comment les organisations peuvent réduire les risques

Lasso Security recommande de traiter les contenus web récupérés comme des données d’entrée non fiables plutôt que de les accepter automatiquement comme faisant autorité. 

Les organisations qui développent des applications d’IA devraient mettre en place une vérification et un filtrage des contenus avant que les informations récupérées ne soient intégrées au raisonnement de l’IA ou à des flux de travail automatisés. 

Les systèmes d’IA devraient également fournir une attribution transparente des sources afin que les utilisateurs puissent évaluer eux-mêmes la crédibilité des informations citées. 

Enfin, les utilisateurs devraient vérifier les affirmations importantes — en particulier celles qui concernent des conseils médicaux, financiers ou juridiques — auprès de sources primaires fiables, plutôt que de s’appuyer uniquement sur des réponses générées par l’IA.

En résumé

La recherche démontre que les mêmes techniques d’optimisation que les organisations utilisent pour améliorer la visibilité de l’IA peuvent également être exploitées pour manipuler les réponses générées par l’IA. 

Réduire la manipulation des contenus par l’IA nécessite une validation plus rigoureuse des informations récupérées et une plus grande transparence concernant les sources fiables.  

Une gouvernance de l’IA solide devient essentielle pour garantir que les systèmes d’IA produisent des résultats dignes de confiance, transparents et fiables.