Les chercheurs de Proofpoint ont constaté que les cybercriminels développent et vendent des outils conçus pour dissimuler des instructions malveillantes dans des e-mails, des documents, des invitations de calendrier et des pages web que les systèmes d’IA traitent régulièrement.
Cela pourrait permettre aux attaquants de manipuler des agents IA sans interaction directe de l’utilisateur.
« Ces publicités et discussions révèlent de nouvelles techniques que les entreprises verront probablement apparaître dans les prochains mois, comme l’IDPI intégré à des invitations de calendrier et incorporé à des chaînes d’attaques de malvertising », ont déclaré les chercheurs dans leur analyse.
Principaux enseignements des recherches sur l’injection de prompt
- Les cybercriminels développent et vendent des outils d’IDPI qui ciblent les systèmes d’IA par le biais d’e-mails, de documents, d’invitations de calendrier et de pages web.
- L’IDPI peut manipuler les agents IA lorsqu’ils traitent du contenu externe, potentiellement sans nécessiter d’interaction directe de l’utilisateur.
- Les acteurs malveillants testent l’IDPI dans l’hameçonnage, les documents malveillants, les invitations de calendrier et le malvertising, même si aucune exploitation à grande échelle n’a encore été observée.
- Les entreprises devraient limiter les privilèges des agents IA, surveiller leur activité, contrôler les actions sensibles et tester leurs plans de réponse aux incidents dans des scénarios d’injection de prompt.
La menace croissante de l’injection indirecte de prompt
Proofpoint rapporte que l’injection indirecte de prompt (IDPI) attire l’attention sur les forums criminels clandestins, où des acteurs malveillants développent, testent et proposent des outils conçus pour cibler les systèmes d’IA.
Certaines offres par abonnement commenceraient, selon les informations disponibles, à environ 150 dollars par mois et incluraient des générateurs d’e-mails, de PDF, d’invitations de calendrier et de pages web malveillants.
L’émergence de ces services suggère que les cybercriminels commencent à étudier comment intégrer l’IDPI à des outils et l’incorporer à des chaînes d’attaques existantes.
Fonctionnement de l’injection indirecte de prompt
Les attaques par injection de prompt se répartissent généralement en deux catégories.
Une injection directe de prompt se produit lorsqu’un utilisateur fournit directement à un modèle d’IA une entrée qui l’amène à se comporter d’une manière imprévue ou non souhaitée.
Dans le cas d’une injection indirecte de prompt, des instructions malveillantes sont intégrées à un contenu externe qu’un système d’IA traite ultérieurement, comme un e-mail, un document, une invitation de calendrier ou une page web.
Pourquoi les agents IA sont exposés
Cette distinction est importante à mesure que les entreprises donnent aux agents IA un accès accru aux applications professionnelles, aux données de l’entreprise et aux flux de travail automatisés.
Contrairement à l’hameçonnage traditionnel, une attaque par IDPI peut ne pas dépendre du fait qu’un employé clique sur un lien malveillant ou suive les instructions d’un attaquant.
Un agent IA pourrait rencontrer le prompt malveillant en exécutant une tâche courante, comme résumer un e-mail, examiner un document, traiter une invitation à une réunion ou consulter une page web.
Si l’agent dispose de permissions suffisantes, un attaquant pourrait potentiellement manipuler son comportement pour accéder à des informations sensibles ou effectuer des actions non autorisées.
Selon Proofpoint, les acteurs malveillants expérimentent actuellement plusieurs méthodes de diffusion de l’IDPI.
Attaques par e-mail
Les attaques par e-mail peuvent dissimuler des instructions malveillantes en utilisant un texte dont la couleur correspond à celle de l’arrière-plan du message.
L’e-mail peut sembler inoffensif pour son destinataire, tandis qu’un assistant IA qui traite son contenu pourrait tout de même détecter et interpréter le prompt caché.
Attaques par PDF et documents
Les attaques par PDF et documents intègrent des instructions aux pièces jointes en recourant à des techniques comme le texte caché ou les éléments intégrés.
Proofpoint a observé des tests impliquant un PDF contenant des instructions qui tentaient de diriger un agent IA pour localiser et transmettre des fichiers XLSX.
Ces techniques visent à placer les instructions là où un système d’IA peut les traiter, même si elles passent inaperçues lors de la consultation habituelle d’un document.
Attaques par invitation de calendrier
Les attaques par invitation de calendrier placent des prompts malveillants dans des invitations à des réunions, notamment dans du contenu présenté comme faisant partie de l’ordre du jour.
Un assistant IA chargé de résumer l’invitation pourrait traiter les instructions sans que le destinataire interagisse volontairement avec elles.
Cette technique s’appuie sur l’utilisation abusive déjà pratiquée par les attaquants des invitations de calendrier à des fins d’hameçonnage, mais elle déplace en partie la cible de l’employé vers le système d’IA qui traite l’invitation.
Malvertising et attaques par pages web malveillantes
Le malvertising et les attaques par pages web malveillantes pourraient exposer les agents IA à des prompts intégrés à des publicités ou au contenu de sites web.
Les attaquants étudient des méthodes consistant notamment à placer des instructions dans le HTML, dans du texte extrêmement petit, dans des éléments masqués de la page ou dans le texte alternatif d’images, qui pourraient être traitées par un agent IA même lorsqu’elles ne sont pas facilement visibles par un visiteur humain.
Selon les chercheurs, ces techniques n’ont pas encore fait l’objet d’une exploitation à grande échelle et plusieurs restent au stade expérimental.
Cependant, le développement et la vente d’outils d’IDPI dédiés marquent un changement important : on passe de scénarios d’attaque largement hypothétiques à une expérimentation concrète par les cybercriminels.
À mesure que les agents IA s’intègrent davantage aux systèmes des entreprises, celles-ci devraient se préparer à ce que les attaquants incorporent l’IDPI à leurs campagnes d’attaque.
Réduire le risque d’injection indirecte de prompt
Les entreprises qui adoptent des agents IA devraient considérer que tout contenu provenant de l’extérieur de leur environnement pourrait contenir des instructions adverses.
- Limiter les permissions des agents en ne leur accordant que les accès et privilèges nécessaires à leurs tâches prévues.
- Séparer les instructions fiables du contenu externe en traitant les e-mails, les documents, les pages web et les invitations de calendrier comme des entrées non fiables.
- Exiger une validation pour les actions sensibles comme l’envoi de fichiers, la modification de permissions, la suppression de données ou le lancement de transferts externes.
- Contrôler les communications externes en limitant les agents IA aux domaines, API, applications et services de partage de fichiers approuvés.
- Surveiller l’activité des agents afin de détecter les accès inhabituels à des fichiers, les connexions sortantes, les transferts de données, l’utilisation d’outils et les actions automatisées.
- Protéger les données sensibles grâce à la segmentation et à des contrôles de prévention des pertes de données (DLP) qui limitent ce que les agents IA peuvent consulter et transmettre.
- Tester les plans de réponse aux incidents et utiliser des outils de simulation d’attaques avec des scénarios portant sur l’injection de prompt et d’autres attaques pilotées par l’IA.
Collectivement, ces mesures peuvent aider les entreprises à réduire leur exposition globale et à renforcer leur résilience.
En résumé
La préoccupation la plus immédiate concerne la vitesse à laquelle l’IDPI pourrait être concrètement intégré à des chaînes d’attaques déjà gérées par les équipes de sécurité.
À mesure que les outils clandestins abaissent le seuil d’entrée, les entreprises devraient déterminer si leurs contrôles actuels peuvent détecter et contenir les instructions malveillantes ciblant les agents IA.
Elles devraient également évaluer si leur télémétrie actuelle offre une visibilité suffisante pour enquêter sur les agents qui commencent à fonctionner en dehors du périmètre qui leur est assigné.
Une approche de zéro confiance peut aider les entreprises à réduire une partie de ces risques en vérifiant en permanence les accès et en limitant les permissions des agents IA dans les systèmes et les données de l’entreprise.