Les établissements financiers déploient rapidement l’IA, mais une nouvelle étude suggère que de nombreuses banques pourraient sécuriser la mauvaise couche de leur pile technologique.
Les chercheurs de Liquibase avertissent que, tandis que les organisations se concentrent fortement sur les modèles d’IA et les API, la couche des bases de données pourrait être l’une des parties les plus exposées des infrastructures financières modernes.
« La gouvernance des agents doit évoluer simultanément dans trois directions », a déclaré Adam Markowitz, PDG et cofondateur de Drata, dans un e-mail adressé à eSecurityPlanet.
Il a expliqué : « Vers le bas de la pile, là où se produisent les actions irréversibles. Vers le haut de la pile, jusqu’aux cadres de conformité qui définissent ce que signifie une action gouvernée. Et à travers toute la pile, jusqu’à chaque système où les agents agissent. »
Adam a également ajouté : « La plupart des acteurs du secteur travaillent encore dans une seule direction à la fois. C’est cette conversation qui doit rattraper son retard. »
Points clés sur les risques liés à l’IA dans le secteur bancaire
- Des chercheurs avertissent que les banques pourraient négliger la couche des bases de données en concentrant leurs efforts de sécurité de l’IA sur les modèles et les API.
- Des agents d’IA autonomes pourraient manipuler les enregistrements, les workflows et la logique métier d’une manière qui semble légitime et qui est difficile à détecter.
- La corruption de l’état pilotée par l’IA pourrait créer des difficultés opérationnelles, de conformité et d’investigation forensique pour des cadres comme SOX, PCI DSS et SOC 2.
- Des identifiants de confiance, des workflows approuvés et des outils d’automatisation légitimes pourraient permettre à une activité malveillante pilotée par l’IA de se fondre dans les opérations normales.
- Les organisations financières sont invitées à adopter une gouvernance plus rigoureuse des bases de données, des contrôles zero trust, une journalisation immuable et une surveillance continue.
Risques liés aux bases de données d’IA et contrôles recommandés
| Zone de risque liée à l’IA | Impact potentiel | Contrôles recommandés |
|---|---|---|
| Modifications non autorisées du schéma | Corruption des données financières et erreurs de reporting | Gestion des changements et approbations imposées par les politiques |
| Workflows de transaction manipulés | Fraude, problèmes de rapprochement et perturbations opérationnelles | Surveillance continue et détection des anomalies |
| Utilisation abusive par l’IA d’identifiants valides | Activité malveillante difficile à détecter | Zero trust et accès selon le principe du moindre privilège |
| Faible visibilité sur les audits | Difficultés liées à la conformité et aux investigations forensiques | Journalisation immuable et pistes d’audit cryptographiques |
| Accès excessif de l’IA aux systèmes de production | Exposition accrue au risque opérationnel | Segmentation des bases de données et restriction de l’accès en écriture |
| Corruption de l’état pilotée par l’IA | Problèmes durables d’intégrité et de confiance | Tests de reprise et planification de la résilience opérationnelle |
L’IA crée de nouveaux risques pour les systèmes financiers
De nombreux établissements financiers concentrent la gouvernance de l’IA sur les modèles et les API, tout en accordant moins d’attention aux bases de données où sont stockés les enregistrements et les processus financiers critiques.
Les chercheurs ont averti que cela créait un angle mort important à mesure que les systèmes d’IA deviennent plus autonomes et s’intègrent toujours davantage aux environnements bancaires d’entreprise.
Les conclusions des chercheurs décrivent les systèmes d’IA de classe Mythos comme des agents autonomes capables d’identifier les faiblesses, d’enchaîner les attaques et d’exécuter des actions à la vitesse des machines dans les environnements d’entreprise.
Selon eux, cela modifie la nature du risque opérationnel pour les établissements financiers, car la menace principale ne se limite plus au vol traditionnel de données ou aux perturbations de type rançongiciel.
Le risque de corruption de l’état pilotée par l’IA
Les chercheurs avertissent au contraire que les attaques pilotées par l’IA pourraient de plus en plus viser une corruption silencieuse de l’état, notamment des modifications non autorisées du schéma, des enregistrements manipulés et une logique métier altérée qui semblent légitimes.
Dans les environnements bancaires, les bases de données servent à la fois de point d’exécution des actions pilotées par l’IA et d’enregistrement permanent de ces actions.
Les chercheurs ont indiqué que des agents d’IA autonomes pourraient manipuler les workflows de transaction, contourner les contrôles métier ou créer des incohérences difficiles à détecter et à rapprocher en aval.
Comme les actions pilotées par l’IA peuvent utiliser des applications de confiance, des workflows approuvés et des identifiants valides, l’activité malveillante peut se fondre dans les opérations normales et devenir plus difficile à détecter pour les équipes de sécurité.
Défis en matière de conformité et de responsabilité
Les conclusions soulèvent des inquiétudes concernant la gouvernance de l’IA, la sécurité de la chaîne d’approvisionnement logicielle et la responsabilité forensique, notamment pour des cadres de conformité comme SOX, PCI DSS et SOC 2, qui reposent sur des pistes d’audit fiables, la gestion des changements et l’intégrité des données.
Les chercheurs ont indiqué qu’à mesure que les systèmes d’IA gagnent en autonomie dans les environnements d’entreprise, les contrôles de gouvernance doivent s’étendre plus profondément jusque dans la couche des bases de données afin de préserver la responsabilité opérationnelle et de faciliter les audits et les investigations.
Réduire l’exposition à l’IA
Pour réduire les risques liés à l’adoption de l’IA, les organisations financières devraient adopter des mesures plus rigoureuses de validation, de surveillance et de contrôle des accès afin d’améliorer la responsabilité et la résilience opérationnelle.
- Mettre en œuvre une gestion des changements des bases de données imposée par les politiques qui valide les modifications avant leur exécution plutôt que de s’appuyer uniquement sur des contrôles manuels.
- Utiliser des pistes d’audit vérifiables par des moyens cryptographiques, une journalisation immuable et des contrôles centralisés de gouvernance afin d’améliorer la responsabilité et la visibilité forensique.
- Surveiller en continu les modifications du schéma, l’activité transactionnelle, les requêtes de base de données et les changements d’état en aval afin de détecter tout signe de manipulation non autorisée ou tout autre comportement anormal.
- Appliquer les principes zero trust et du moindre privilège aux agents d’IA, aux workflows automatisés, aux intégrations tierces et aux environnements de bases de données sensibles.
- Segmenter les systèmes de bases de données critiques et limiter autant que possible l’accès direct en écriture de l’IA aux environnements de production.
- Renforcer la validation des identités, les approbations multipartites et les contrôles fondés sur des politiques concernant les modifications de schéma à haut risque et les opérations privilégiées sur les bases de données.
- Tester la réponse aux incidents, la reprise des bases de données et les plans de résilience opérationnelle afin de garantir que les organisations puissent détecter rapidement les événements de corruption de l’état pilotée par l’IA et s’en remettre.
Ensemble, ces mesures peuvent aider les organisations à renforcer leur résilience opérationnelle, à améliorer la responsabilité et à réduire leur exposition aux manipulations pilotées par l’IA, aux atteintes à l’intégrité des données et aux perturbations des systèmes en aval.
Les opérations d’IA exigent une gouvernance plus rigoureuse
À mesure que les systèmes d’IA évoluent, passant d’assistants analytiques à des outils capables d’exécuter des tâches opérationnelles, les préoccupations en matière de sécurité et de gouvernance dépassent le comportement des modèles et la sécurité des applications pour s’étendre à l’infrastructure et aux systèmes de données sous-jacents avec lesquels l’IA interagit directement.
Les chercheurs de Liquibase affirment que les organisations doivent sécuriser non seulement les modèles d’IA, mais aussi les bases de données, les workflows et les systèmes d’entreprise où les actions pilotées par l’IA peuvent affecter les opérations et la conformité.
Cela renforce également l’importance des principes zero trust, alors que les organisations s’efforcent de limiter l’accès de l’IA, de valider continuellement l’activité et de réduire les risques liés à l’adoption de l’IA.