Les assistants d’intelligence artificielle (IA) deviennent rapidement un élément central de la productivité au travail, mais une nouvelle étude suggère qu’ils pourraient également introduire un vecteur de hameçonnage jusqu’ici négligé.
Les chercheurs de Permiso ont constaté que du texte contrôlé par un attaquant et intégré à des e-mails pouvait manipuler les résumés de Microsoft Copilot au moyen d’attaques par injection croisée de prompts (XPIA), en insérant potentiellement des alertes de sécurité trompeuses ou des invites malveillantes dans l’interface d’IA de confiance.
« La découverte la plus intéressante n’était pas que Copilot suivait les instructions de l’attaquant. C’était de voir à quel point le résultat devenait plus convaincant une fois affiché dans l’interface de l’assistant », a déclaré Andi Ahmeti, chercheur en menaces chez Permiso, dans un e-mail adressé à eSecurityPlanet.
Il a ajouté : « Les utilisateurs ont passé des années à apprendre à se méfier des e-mails suspects, mais cette méfiance ne s’applique pas aux résumés générés par l’IA. Il suffit à l’attaquant que l’assistant s’exprime avec autorité. »
Les risques d’injection de prompts dans Copilot
Les assistants d’IA tels que Microsoft Copilot sont de plus en plus intégrés aux flux de productivité quotidiens dans Outlook, Microsoft Teams et les autres services Microsoft 365.
Des fonctionnalités comme le résumé des e-mails permettent aux employés de comprendre rapidement les longues discussions, de hiérarchiser les réponses et de recueillir le contexte de documents ou de conversations connexes.
Pour les organisations qui gèrent de gros volumes de communications, ces outils peuvent améliorer l’efficacité en réduisant le temps consacré à l’examen des messages et à la coordination entre les équipes.
Quand l’IA traite du contenu non fiable provenant d’e-mails
Cependant, cette commodité introduit également une nouvelle frontière de sécurité : on demande souvent aux systèmes d’IA d’interpréter et de résumer du contenu externe non fiable, notamment des e-mails envoyés par des acteurs inconnus ou potentiellement malveillants.
Les recherches consacrées au comportement de Copilot montrent que des instructions contrôlées par un attaquant et intégrées à un e-mail peuvent parfois influencer la manière dont l’assistant génère son résumé.
Dans certains cas, ces instructions peuvent orienter le résultat de façon à introduire directement du contenu trompeur ou malveillant dans l’interface de Copilot.
Comment l’injection croisée de prompts influence les résumés de l’IA
Cela modifie la manière dont les attaques de hameçonnage peuvent fonctionner dans les environnements utilisant l’IA. Traditionnellement, les campagnes de hameçonnage reposaient sur des messages usurpés, des pièces jointes malveillantes ou des liens trompeurs intégrés directement au contenu des e-mails.
Avec les assistants d’IA intégrés au flux de travail, les attaquants peuvent plutôt tenter de manipuler la voix et la crédibilité de l’assistant, en l’utilisant pour diffuser des messages d’ingénierie sociale qui semblent générés par le système.
La technique à l’origine de cette manipulation est appelée injection croisée de prompts : des instructions cachées intégrées au contenu influencent la manière dont un grand modèle de langage traite ou résume ces informations.
Lorsqu’un utilisateur demande à Copilot de résumer un e-mail dans Outlook ou Teams, l’assistant analyse l’intégralité du corps du message — y compris tout texte fourni par un attaquant.
Si le modèle interprète ce texte comme une instruction plutôt que comme un simple contenu, il peut modifier le résumé généré en conséquence.
Des différences entre les interfaces de Copilot
Les chercheurs ont évalué trois interfaces courantes de Copilot utilisées pour résumer le contenu des e-mails : le bouton « Résumer » d’Outlook, le volet de conversation Copilot d’Outlook et Copilot dans Microsoft Teams.
Bien que ces fonctionnalités semblent similaires du point de vue de l’utilisateur, les tests ont révélé que chaque interface présentait des comportements de sécurité légèrement différents.
Dans certains cas, la fonctionnalité de résumé intégrée à Outlook détectait les instructions suspectes et refusait de générer un résumé, ce qui indiquait que des mécanismes de protection avaient été déclenchés.
Dans d’autres scénarios — en particulier lorsque les e-mails contenaient un contenu plus long et plus réaliste — les réponses étaient moins prévisibles. Certains résumés étaient générés normalement, tandis que d’autres incluaient des fragments des instructions injectées.
Lors des tests, l’interface Copilot de Teams a présenté la plus forte probabilité de reproduire du contenu fourni par l’attaquant.
Dans ces cas, l’assistant générait un résumé d’apparence normale, mais y ajoutait du texte influencé par les instructions cachées intégrées à l’e-mail.
Quand les résumés de l’IA deviennent un canal de hameçonnage
Dans un scénario, les attaquants avaient intégré à un e-mail des instructions cachées qui incitaient Copilot à ajouter des alertes de type hameçonnage — telles que « Action requise » ou « Alerte de sécurité » — directement dans le résumé généré par l’IA.
L’alerte pouvait demander à l’utilisateur de vérifier l’activité de son compte ou de sécuriser son identité, souvent avec un lien ou un bouton l’invitant à agir immédiatement.
Comme le message apparaît dans un panneau de résumé généré par Copilot, il peut sembler être une notification système légitime plutôt qu’un contenu contrôlé par l’attaquant.
Les utilisateurs formés à se méfier des e-mails suspects pourraient être plus enclins à faire confiance à une notification présentée par un assistant d’IA intégré au flux de travail de leur organisation.
Les chercheurs ont souligné que ces résultats n’indiquaient pas une exploitation généralisée dans la nature.
Cependant, les résultats démontrent une voie d’attaque réaliste validée par une preuve de concept, qui montre comment les outils de productivité alimentés par l’IA peuvent créer de nouvelles possibilités d’ingénierie sociale si les attaquants parviennent à influencer le résultat produit par le modèle.
Réduire les risques liés au hameçonnage assisté par l’IA
À mesure que les assistants d’IA s’intègrent davantage aux flux de travail quotidiens, les organisations doivent reconnaître que ces outils peuvent introduire de nouvelles considérations de sécurité, parallèlement à leurs avantages en matière de productivité.
La mise en place de contrôles en couches, la surveillance des résultats de l’IA et la sensibilisation des utilisateurs peuvent contribuer à réduire les risques d’injection de prompts et de hameçonnage assisté par l’IA.
- Appliquez les derniers correctifs Microsoft et testez-les dans un environnement de préproduction avant de les déployer en production.
- Restreignez l’accès à Copilot et ses autorisations selon le principe du moindre privilège, le contrôle d’accès basé sur les rôles (RBAC) et les politiques d’accès conditionnel afin de limiter les personnes pouvant utiliser les fonctionnalités de résumé par IA et les appareils depuis lesquels elles peuvent le faire.
- Limitez la capacité de Copilot à récupérer des données entre applications provenant de sources telles que Teams, OneDrive et SharePoint, sauf si cela est nécessaire, afin de réduire l’impact potentiel des tentatives d’injection de prompts.
- Déployez des contrôles de sécurité des e-mails et filtrez le contenu afin de détecter les instructions cachées, les techniques d’obfuscation HTML ou les schémas d’injection de prompts intégrés au contenu des e-mails.
- Surveillez l’activité de Copilot et les résumés générés par l’IA à la recherche de liens suspects, d’instructions inhabituelles ou de résultats anormaux à l’aide d’outils EDR/XDR et comportementaux.
- Mettez en place une formation de sensibilisation des utilisateurs, qui apprend aux employés à considérer les résumés générés par l’IA comme des interprétations dérivées plutôt que comme des messages système faisant autorité.
- Testez régulièrement les plans de réponse aux incidents et utilisez des solutions de simulation d’attaques autour de scénarios de hameçonnage alimenté par l’IA et d’attaques par injection de prompts.
Ensemble, ces mesures peuvent aider les organisations à réduire leur exposition au hameçonnage assisté par l’IA et aux risques d’injection de prompts, tout en renforçant leur résilience globale face aux menaces ciblant les outils de productivité reposant sur l’IA.
Les assistants d’IA introduisent de nouveaux risques de sécurité
Les techniques d’injection de prompts ne se limitent pas à Microsoft Copilot et ont également été démontrées sur d’autres plateformes de productivité, notamment dans les outils d’IA intégrés à Google Workspace.
À mesure que les assistants d’IA s’intègrent davantage aux flux de travail des entreprises, les organisations commencent à étudier la manière dont ces systèmes gèrent les entrées non fiables et la façon dont celles-ci pourraient influencer les résultats générés.
Les entreprises qui adoptent des assistants d’IA doivent veiller à mettre en place des contrôles et une supervision appropriés afin que ces outils ne renforcent ni n’amplifient involontairement les instructions fournies par des attaquants.
Alors que les équipes de sécurité évaluent les moyens de sécuriser les flux de travail reposant sur l’IA et les entrées non fiables, nombre d’entre elles étudient également des solutions zero trust pour renforcer la vérification des identités, les contrôles d’accès et la protection des données.