Gouvernance des agents IA
La gouvernance des agents IA fixe les règles de ce qu'un agent IA peut faire et de qui est responsable de son travail. Un agent peut choisir plusieurs étapes et appeler des outils qui lisent des données ou exécutent des actions dans d'autres systèmes. La gouvernance définit les outils et les accès aux données autorisés, limite ces actions et précise quand une personne doit approuver ou arrêter le travail.
La gouvernance des agents IA aide les organisations à introduire l'automatisation sans laisser floue la responsabilité des décisions. Les contrôles couvrent toute la séquence d'actions, car des étapes autorisées une à une peuvent tout de même produire un résultat non approuvé. Des responsables nommés, des tests de workflow et des journaux d'actions donnent aux équipes un moyen de superviser les agents et de reconstituer ce qui s'est passé quand un résultat doit être examiné.
Ce que couvre la gouvernance des agents
Le point de départ est un responsable nommé pour chaque agent et un inventaire de tous les agents utilisés, de la même manière que les banques tiennent un inventaire des modèles. Viennent ensuite les limites: quels outils et quelles données un agent peut utiliser, quels montants il peut déplacer et quand une personne doit approuver. Chaque action est journalisée, si bien que la banque peut reconstituer une décision des mois plus tard. Bain décrit une banque qui arrête automatiquement ses agents après un délai fixé.
L'enchaînement des étapes crée un risque particulier: chaque action isolée peut être autorisée, alors que la séquence produit un résultat que personne n'a approuvé. La gouvernance des agents examine donc des workflows entiers et les teste avant de donner plus d'autonomie à un agent.
Cadres des superviseurs
L'Infocomm Media Development Authority de Singapour a publié le Model AI Governance Framework for Agentic AI. Le Model AI Governance Framework for Agentic AI comporte quatre volets: évaluer et borner les risques en amont, par exemple en limitant l'autonomie, les outils et l'accès aux données; rendre les humains réellement responsables, avec des approbations aux étapes importantes; appliquer des contrôles techniques et déployer les agents progressivement; et informer les utilisateurs finaux quand des agents sont utilisés. KASIKORN Business-Technology Group, la branche technologique de la banque thaïlandaise KBank, indique dans la fiche qu'elle a commencé à déployer des agents dans toute la banque et utilise le cadre pour sa gouvernance.
Aux États-Unis, les observations de la FINRA sur les agents IA décrivent six types d'agents chez les sociétés membres, des agents conversationnels et de développement logiciel jusqu'à la surveillance des opérations et de la LCB-FT et à l'exécution des ordres. La FINRA note que les agents peuvent manquer de la transparence et de la prévisibilité que supposent les pratiques de supervision.
Les règles dans l'UE et en Allemagne
Le règlement européen sur l'IA n'a pas de catégorie pour les agents; les obligations suivent le cas d'usage, si bien qu'un agent qui note le crédit à la consommation est à haut risque et exige une supervision humaine. Les principes de la BaFin pour les algorithmes dans la prise de décision demandent une responsabilité claire à chaque phase d'un modèle, et ses orientations sur les risques TIC de l'IA appliquent DORA aux outils qu'un agent atteint.
Pour une banque allemande, la gouvernance des agents est donc une extension de ce qu'elle pratique déjà: la gestion du risque de modèle, le registre des tiers TIC et le principe des quatre yeux. Le cadre général de ces contrôles est la gouvernance de l'IA dans la banque.
Prochains événements IA et finance en Allemagne
C’est quoi la gouvernance d’agents IA?
La gouvernance des agents IA est le cadre de responsables, de limites, d'approbations et de journaux qui contrôle ce que des agents IA autonomes peuvent faire dans une organisation, de la conception au retrait.
En quoi diffère-t-elle de la gouvernance de l'IA?
La gouvernance de l'IA contrôle les modèles et leurs résultats, tandis que la gouvernance des agents ajoute le contrôle des actions: quels outils un agent appelle et quelles transactions il peut lancer sans une personne.
Existe-t-il une réglementation de l'IA agentique?
Aucune loi n'est écrite pour les seuls agents, et le cadre volontaire de Singapour est à ce jour l'orientation la plus précise; dans l'UE, le règlement sur l'IA et DORA s'appliquent aux agents par leur cas d'usage et les systèmes qu'ils atteignent.
Gouvernance des agents IA et Finance Loop
Finance Loop est le lieu où les personnes qui construisent des agents rencontrent les spécialistes du risque et de la conformité qui doivent les approuver. Finance Loop traite la gouvernance des agents dans son axe Risque & conformité, et KI Exchange à Hambourg avait la banque agentique à son programme. Des prestataires de gouvernance et de vérification peuvent intervenir dans un webinaire sponsorisé, et des praticiens s'inscrivent par l'adhésion.
Finance Loop est un réseau professionnel qui favorise l'usage institutionnel des technologies émergentes en finance, comme l'IA, les paiements numériques, le cloud et les solutions blockchain. Finance Loop aide ses membres à développer des compétences et des réseaux personnels dans ces domaines: Investissement & actifs numériques, Paiements & monnaie numérique, Infrastructure numérique & souveraineté et Risque & conformité.