Validation des modèles bancaires

La validation relève de la deuxième ligne. La première construit et utilise le modèle, la deuxième le remet en question, et l’audit interne, en troisième ligne, vérifie la bonne réalisation de cet examen. MaRisk AT 4.4 définit les fonctions indépendantes de contrôle des risques et de conformité en deuxième ligne, et sépare l’examen des procédures de quantification des risques des personnes qui les ont développées.

L’indépendance concerne l’organisation mais aussi les données. Un validateur recevant uniquement les résultats agrégés ne peut pas tester le modèle, son unité doit accéder aux données d’entraînement, au code et à l’historique des paramètres. Lorsqu’une banque achète un modèle, la documentation du fournisseur remplace le code, et le cadre de risque de modèle précise le niveau de détail suffisant.

La solidité conceptuelle vient en premier: la méthode convient-elle à la question, les hypothèses sont-elles explicites, et les variables ont-elles une raison d’intégrer le modèle autre que l’ajustement à l’échantillon. Un modèle peut réussir tous les tests statistiques et rester inadéquat, car il utilise une variable que la banque ne peut observer au moment de décider.

L’analyse des résultats compare les prévisions du modèle aux événements réels. L’analyse comparative oppose le modèle à une autre solution, une spécification plus simple ou une estimation externe, afin de donner un repère aux mauvais résultats. Le guide de la BCE sur les modèles internes organise ainsi ses attentes pour les modèles de calcul des fonds propres d’une banque.

Le backtesting compte les fois où la réalité dépasse ce que le modèle autorisait. Pour un modèle de risque de marché, il s’agit des jours où la perte dépasse l’estimation de valeur à risque, avec un seuil fixé par les règles de fonds propres. Un dépassement n’indique pas automatiquement un modèle défaillant, car un événement de probabilité un sur cent survient environ une fois en cent jours, le test examine donc le regroupement des exceptions.

Lorsque le nombre dépasse le seuil, le modèle continue à fonctionner selon une décision documentée et un plan correctif comportant un responsable et une date. Le rapport de validation précise le constat, sa gravité et l’échéance, et les constats non résolus constituent la première liste que lit le superviseur à l’examen suivant.

La validation ponctuelle et le suivi dans le temps répondent à des questions différentes. Le suivi observe la population: les demandeurs notés ce trimestre diffèrent de ceux ayant servi à construire le modèle, et l’écart augmente discrètement. Les mesures usuelles sont l’indice de stabilité de population, qui compare la distribution actuelle des scores à celle du développement, et un test de Kolmogorov-Smirnov pour ce même changement; les divergences de Jensen-Shannon et Kullback-Leibler et la distance de Wasserstein remplissent ce rôle avec une sensibilité différente aux queues de distribution.

La dérive conceptuelle est plus difficile, car les entrées semblent inchangées alors que leur relation avec le résultat a évolué. Elle apparaît comme une baisse des performances sur une fenêtre glissante, le suivi rapporte donc exactitude, précision, rappel et aire sous la courbe en complément de la calibration, sans la remplacer. Un validateur recevant seulement une distribution d’entrée inchangée n’apprend rien sur la dérive conceptuelle.

Lorsqu’un modèle refuse une demande, quelqu’un doit pouvoir en expliquer la raison. Les techniques se répartissent en deux catégories. Les méthodes globalement interprétables contraignent le modèle pour intégrer l’explication, comme un modèle additif généralisé ou un arbre linéaire boosté. Les méthodes a posteriori expliquent un modèle déjà construit: SHAP attribue une décision à ses entrées, LIME approxime localement le modèle, et les graphiques de dépendance partielle et d’effets locaux accumulés montrent comment le résultat varie avec une variable dans la population.

Une explication a posteriori est une approximation du modèle, non le modèle lui-même, un point important lorsqu’elle est présentée au client. Le droit allemand exige déjà cette substance: la Cour fédérale de justice et la Cour de justice de l’Union européenne ont toutes deux examiné le scoring SCHUFA, et la conformité de l’IA en Allemagne explique les conséquences pour une décision automatisée.

Une validation incapable de remonter d’un chiffre à sa source a déjà identifié un défaut avant tout test. BCBS 239, les principes du Comité de Bâle pour l’agrégation efficace des données de risque et la notification des risques, précise l’obligation: une banque doit produire des données de risque exactes et expliquer leur agrégation, y compris en situation de crise.

Trois défauts reviennent en pratique. Un champ change de définition dans un système source sans information du responsable du modèle, une correction manuelle entre dans un tableur entre la source et le modèle, et un historique est reconstitué après migration avec des valeurs ne correspondant plus aux originales. Chacun doit figurer dans le rapport comme constat relatif aux données, distinct du constat relatif au modèle.

Un modèle à gradient boosting n’a pas de coefficient directement lisible, sa solidité conceptuelle se teste donc autrement. Le validateur recherche dans les caractéristiques les variables interdites à la banque, examine la stabilité selon les périodes et les segments de population, et compare le modèle à une référence transparente pour mesurer le gain de complexité.

Les orientations de BaFin sur les risques TIC liés aux systèmes d’IA de décembre 2025 adaptent les tests à la criticité du système et imposent une explicabilité au niveau requis par son usage. Lorsque le modèle note des crédits à la consommation, le règlement IA de l’UE ajoute ses obligations de documentation et de supervision, détaillées dans la gouvernance de l’IA bancaire.

Une unité de validation examine chaque modèle indépendamment de ses concepteurs et rédige un rapport exploitable par l’organe de direction. L’examen vérifie si la méthode convient à la question, compare les prévisions aux résultats et le modèle à une autre solution, contrôle la traçabilité des données et consigne les constats avec leur gravité et leur échéance. MaRisk impose une séparation organisationnelle entre cet examen et le développement du modèle.

Le périmètre et la version du modèle examinés, les données utilisées et leurs limites, l’évaluation conceptuelle, l’analyse des résultats avec le backtesting, la comparaison à une référence, une liste des constats avec gravité et dates de correction, et une conclusion sur l’utilisation possible du modèle en l’état. Un rapport sans conclusion exploitable laisse la décision sans responsable.

Une rupture de marché plaçant les données hors de la plage de calibration, un système source changeant la définition d’un champ, un fournisseur actualisant un modèle acheté, un changement substantiel du portefeuille auquel le modèle s’applique, et un résultat de backtesting dépassant son seuil. La banque inscrit ces déclencheurs dans sa politique des modèles afin que la décision de revalider ne dépende pas de la personne qui les remarque.