L’intelligence artificielle (IA) transforme la sécurité des entreprises, mais elle crée également de nouvelles opportunités pour les attaquants.
De l’injection de prompt et de l’empoisonnement des données à l’abus des modèles et au phishing assisté par l’IA, les organisations font face à une surface d’attaque en expansion, que les contrôles de sécurité traditionnels n’ont jamais été conçus pour prendre en charge.
Pour aider les professionnels de la sécurité à mieux comprendre ces risques, Max Robertson, Senior Content Engineer et Head of the AI Security Squad chez TryHackMe, a rejoint le podcast eSecurity Planet pour une démonstration pratique d’attaques par injection de prompt directe et indirecte, utilisant la plateforme de formation interactive de TryHackMe.
Dans la vidéo, Max explique concrètement le fonctionnement de ces attaques et pourquoi la sécurité de l’IA exige une manière de penser différente de celle de la sécurité applicative traditionnelle.
L’injection de prompt reste l’un des principaux risques liés à la sécurité de l’IA
L’injection de prompt est devenue l’une des menaces les plus commentées contre les grands modèles de langage (LLM), et ce pour de bonnes raisons.
Comme l’explique Robertson, cette attaque présente d’importantes similitudes avec l’injection SQL. Dans les deux cas, les attaquants tentent de mélanger des instructions fiables à des entrées non fiables, amenant une application à exécuter un comportement que le développeur n’avait jamais prévu.
Au cours de la démonstration, Robertson montre une attaque directe par injection de prompt contre un assistant commercial automobile simulé, alimenté par l’IA.
En élaborant soigneusement des prompts qui remplacent les instructions existantes du chatbot, il montre comment un attaquant peut manipuler l’IA pour lui faire accepter l’achat fictif d’un véhicule à 1 dollar US.
Bien que volontairement simplifié à des fins de formation, l’exercice illustre comment des assistants IA insuffisamment sécurisés peuvent être persuadés d’ignorer leurs contraintes initiales.
L’injection de prompt indirecte soulève des inquiétudes encore plus grandes
La deuxième démonstration montre pourquoi certains professionnels de la sécurité considèrent l’injection de prompt indirecte comme un risque encore plus important pour les entreprises.
Au lieu d’attaquer directement le chatbot, Robertson dissimule des instructions malveillantes dans une source de données externe — en l’occurrence, une entrée de calendrier à laquelle l’assistant IA est autorisé à accéder.
Lorsqu’un autre utilisateur demande ensuite à l’assistant de résumer les prochaines réunions, les instructions malveillantes sont ingérées à leur insu comme un contexte fiable, ce qui amène l’IA à divulguer des informations commerciales confidentielles.
Contrairement à l’injection de prompt directe, l’attaquant n’a pas besoin d’être présent au moment de l’exécution de l’exploit.
Tout employé interagissant avec l’assistant IA pourrait déclencher l’attaque à son insu, ce qui rend l’injection de prompt indirecte particulièrement dangereuse pour les agents IA connectés aux sources de données de l’entreprise.
Les attaques contre l’IA vont bien au-delà de l’injection de prompt
Bien que l’injection de prompt domine de nombreuses discussions sur la sécurité de l’IA, elle ne représente qu’une seule catégorie parmi les menaces émergentes.
Les organisations sont également confrontées à des risques tels que :
- Empoisonnement des données, par lequel les attaquants manipulent les données d’entraînement ou de récupération afin d’influencer les résultats des modèles.
- Inversion et extraction de modèles, qui visent à récupérer des données d’entraînement sensibles ou à reproduire des modèles d’IA propriétaires.
- Contournement des garde-fous, lorsque des prompts soigneusement élaborés contournent les contrôles de sécurité du modèle.
- Phishing assisté par l’IA et ingénierie sociale, qui utilisent l’IA générative pour créer des attaques toujours plus convaincantes et personnalisées.
- Malveillants agents IA, capables d’interagir de manière autonome avec les applications, les API et les services cloud de l’entreprise.
À mesure que les entreprises connectent de plus en plus les systèmes d’IA à des données commerciales sensibles et à des flux de travail opérationnels, les faiblesses de ces intégrations peuvent avoir des conséquences qui vont bien au-delà de réponses inexactes des chatbots.
La sécurité de l’IA commence par la compréhension de la technologie
Robertson souligne qu’il ne faut pas considérer l’IA comme quelque chose dont il faut avoir peur, mais plutôt comme quelque chose qu’il faut comprendre.
Tout comme les organisations se sont adaptées à l’informatique cloud et à d’autres grandes évolutions technologiques par le passé, les défenseurs doivent désormais acquérir des connaissances pratiques sur les systèmes d’IA, leurs capacités et leurs implications en matière de sécurité.
Les ateliers pratiques de TryHackMe sont conçus pour aider les professionnels à explorer en toute sécurité des scénarios réalistes d’attaques contre l’IA avant d’y être confrontés en production.
Les lecteurs souhaitant développer leurs compétences pratiques en sécurité de l’IA peuvent également économiser 30 % sur TryHackMe avec le code promo TECHADVICE30.
À mesure que l’adoption de l’IA s’accélère, les organisations ont besoin d’une gouvernance solide, d’un développement sécurisé et d’une formation continue pour se défendre contre l’évolution des menaces liées à l’IA.
L’injection de prompt n’est que l’un des nombreux risques auxquels les équipes de sécurité doivent se préparer.
Étendre les principes du Zero Trust aux systèmes d’IA peut contribuer à limiter l’impact des prompts, des identités et des sources de données compromis.