Sécurité des agents IA

L'attaque la plus connue est l'injection de prompt: des instructions cachées dans un e-mail, un document ou une page web que l'agent lit puis suit. IBM cite d'autres voies, parmi lesquelles amener un agent à détourner un outil connecté, placer de fausses données dans sa mémoire et voler les identifiants qu'un agent utilise pour qu'un attaquant puisse se faire passer pour lui. Les dégâts augmentent avec les droits de l'agent, et la liste de contrôles d'IBM commence par le zero trust et le moindre privilège.

L'OWASP Top 10 for Agentic Applications, rédigé avec plus de 100 experts en sécurité, classe ces risques, du détournement d'objectif de l'agent jusqu'aux agents incontrôlés. Une banque peut l'utiliser comme liste de contrôle pour les tests d'intrusion et les revues de risque de modèle d'un agent avant la mise en service.

Les orientations sur les risques TIC de l'IA dans les entités financières de la BaFin appliquent DORA aux systèmes d'IA et citent trois risques en exploitation. Un modèle de langage peut être poussé vers un comportement imprévu par des prompts malveillants, par exemple via un lien vers une page web aux instructions cachées. Un assistant compromis peut remettre des données confidentielles à des utilisateurs qui n'ont pas le droit de les voir. Et l'accès API à un modèle peut ouvrir aux attaquants les systèmes qui y sont reliés. La BaFin propose de surveiller les interactions avec l'IA, de détecter les anomalies et d'attribuer les droits d'accès avec soin.

Les orientations ne sont pas contraignantes, mais les obligations qui les sous-tendent le sont: la gestion du risque TIC et la gestion du risque lié aux tiers au titre de DORA. Chaque fournisseur de modèle et chaque serveur MCP qu'un agent utilise est un service TIC que la banque doit évaluer, contractualiser et enregistrer.

Stripe laisse des agents agir via son serveur MCP avec des clés d'agent restreintes et exige qu'une personne approuve les remboursements et les paiements sortants avant leur exécution; sa documentation met en garde contre l'injection de prompt quand des agents combinent plusieurs serveurs. Visa et Mastercard donnent aux agents d'achat des identités signées, si bien qu'un commerçant peut bloquer un bot qui se fait seulement passer pour un agent; la page Trusted Agent Protocol explique la méthode.

Aux États-Unis, les observations de la FINRA sur les agents IA comptent parmi les risques constatés chez les sociétés membres des agents qui agissent au-delà de l'autorité prévue et un raisonnement en plusieurs étapes difficile à retracer. Journaliser chaque appel d'outil est la réponse commune aux deux.

La sécurité des agents IA est la protection des agents IA, de leurs identifiants et des systèmes qu'ils peuvent atteindre contre la manipulation et l'usage abusif. La sécurité des agents IA couvre ce que l'agent lit et ce qu'il a le droit de faire.

L'injection de prompt est une attaque où un texte lu par l'agent, comme un e-mail ou une page web, contient des instructions qui lui font faire quelque chose que son propriétaire n'a pas voulu, par exemple envoyer des données à l'extérieur ou appeler un outil de paiement.

Dans l'UE, les banques suivent les règles de DORA sur le risque TIC et les tiers TIC, et en Allemagne les orientations de la BaFin sur les risques TIC de l'IA. L'AI Act de l'UE ajoute des obligations d'exactitude et de cybersécurité pour les systèmes à haut risque comme la notation de crédit.