AI Safety Institute Germany

Les deux ministères fixent comme objectif central (en allemand) d’évaluer opportunités et risques des modèles IA avancés pour l’Allemagne et de renforcer durablement la résilience en intelligence artificielle. Dans sa première phase actuelle, l’institut analyse surtout les modèles de pointe, leurs capacités et risques de cybersécurité. Après de récents incidents, les ministères constatent aussi des risques de plus en plus concrets de perte de contrôle sur des modèles très capables.

Le gouvernement énumère d’autres missions: développer des solutions d’usage sûr des systèmes IA (en allemand), échanger avec les instituts étrangers comparables et œuvrer à des normes internationales uniformes. Dans sa fiche auprès de l’OCDE, l’Allemagne cite l’évaluation technique des modèles avancés pour les capacités cyber, l’autonomie, la résistance à la manipulation et le potentiel de détournement, l’analyse de leurs effets sécuritaires sur l’État, les entreprises et la société, et la veille technologique internationale.

Le BMDS du ministre fédéral du Numérique Karsten Wildberger et le BMI du ministre fédéral de l’Intérieur Alexander Dobrindt construisent et dirigent ensemble l’institut. Pour la première phase, ils ont confié les missions au BSI et à l’Agence fédérale des réseaux (Bundesnetzagentur): le BSI couvre la (cyber)sécurité, l’Agence la sûreté, avec l’étroite participation d’autres acteurs de la sécurité. La sécurité protège systèmes IA et données contre attaques et détournements, tandis que la sûreté concerne les erreurs involontaires, comme un véhicule autonome détectant trop tard un obstacle, selon Börsen-Zeitung (en allemand).

Karsten Wildberger a déclaré que l’Allemagne avait besoin d’un institut performant suivant l’immense vitesse du développement technologique. Alexander Dobrindt a souligné les grandes opportunités de l’IA pour citoyens, entreprises et État, tout en exigeant sa contrôlabilité et la participation allemande à son développement rapide.

L’institut siège à Berlin, qui selon Forschung & Lehre (en allemand) l’a emporté sur Munich et Sarrebruck. Dans une seconde phase, il élargira périmètre et effectifs, puis assurera un transfert structuré des résultats sur la sécurité IA au gouvernement, aux administrations, entreprises et société civile. Le gouvernement prévoit aussi de le consulter sur l’évaluation technique, les scénarios de développement et les besoins d’action stratégiques.

Les ministères n’ont publié aucun chiffre d’effectifs ou de budget à sa création. L’association numérique Bitkom avait réclamé un financement adéquat après la décision du conseil, et Susanne Dehmel, membre de sa direction, a demandé (en allemand) un financement au moins égal à celui de l’AISI britannique.

Depuis 2019, le BSI travaille dans son Centre d’excellence en intelligence artificielle sur des critères, méthodes et outils de test pour systèmes IA sûrs; ce centre est le point de contact IA central de l’administration fédérale. Un premier résultat est le catalogue AIC4 pour services IA cloud, extension de BSI C5, couvrant sécurité, qualité des données, explicabilité et biais sur tout le cycle de vie.

Pour banques et assureurs, le BSI a publié un catalogue de critères de test des systèmes IA financiers issu d’AICRIV, avec environ 100 critères pratiques. Il couvre sécurité informatique, qualité des données, résilience des modèles, gouvernance, contrôle humain et performance, s’adresse aux développeurs, fournisseurs, opérateurs et auditeurs du secteur financier et soutient l’application du règlement européen sur l’IA.

L’institut échange déjà avec des partenaires français et britanniques et le Bureau européen de l’IA, et les deux ministères (en allemand) accordent un poids particulier à la coopération européenne et transatlantique. Il doit aussi participer activement au réseau international des instituts de sûreté IA, consacré au partage des connaissances et aux positions communes des États participants, et élaborer avec ses partenaires des normes uniformes d’usage sûr de l’IA la plus avancée.

AISI Deutschland n’est pas conçu comme un régulateur, et le gouvernement fédéral (en allemand) le décrit comme un centre de compétence analytique et opérationnel. La supervision du règlement européen sur l’IA revient à d’autres organismes: selon la loi allemande d’application, la BaFin supervise les systèmes IA utilisés directement par banques et assureurs dans leurs activités financières réglementées. Les autres usages, par exemple RH, relèvent de l’Agence fédérale des réseaux, à la fois autorité de surveillance du marché et pilier sûreté de l’institut.

Au niveau européen, le Bureau européen de l’IA applique les règles des modèles à usage général et peut les évaluer. L’institut allemand échange avec lui, et les banques rencontrent ces règles via les modèles achetés aux grands fournisseurs et intégrés à leur gouvernance IA.

Le BMDS et le BMI ne donnent pas à l’institut de mandat propre envers les banques ou assureurs, mais la finance appartient au secteur économique destinataire des résultats sécuritaires en seconde phase. Plusieurs risques évalués dans les modèles de pointe apparaissent déjà comme fraudes financières: l’ENISA rapporte qu’au début de 2025, les campagnes de phishing assistées par IA auraient représenté plus de 80 pour cent de l’ingénierie sociale observée dans le monde.

Le BSI avertit qu’un attaquant pourrait appeler une personne avec la voix falsifiée de son dirigeant pour déclencher un virement, fraude dite au président. Les identifiants volés par phishing permettent des prises de contrôle de comptes, également combattues par la détection de fraude par IA. Pour les responsables risques, l’évaluation des capacités cyber des modèles de pointe montre quelles attaques deviennent plus faciles, tandis que le catalogue BSI fournit des critères pour leurs propres systèmes.

Selon le BSI, les deepfakes menacent fortement les systèmes biométriques car certaines méthodes fonctionnent déjà en temps réel, et l’identification distante, notamment vidéo, est particulièrement exposée. Le vérificateur reçoit uniquement le signal de sortie, sans contrôler caméra ou modifications de l’enregistrement. Les attaques par injection y introduisent un flux préparé directement dans l’application bancaire, en contournant la caméra.

Depuis le 17 janvier 2025, le Digital Operational Resilience Act régit la sécurité TIC financière: l’article 6 exige un cadre documenté de gestion des risques TIC, et l’article 5 en rend responsable l’organe de direction. Les banques allemandes déclarent leurs incidents TIC majeurs à la BaFin, et NIS2 cède la place à DORA pour les entités financières, car l’article 28(6) de la loi BSI les exempte de ses obligations de gestion des risques, déclaration et direction.

Le règlement (UE) 2024/1183 exige à l’article 5a que chaque État fournisse au moins un portefeuille EUDI dans les 24 mois suivant l’entrée en vigueur des actes d’exécution. Selon l’article 5f(2), les parties utilisatrices privées soumises légalement ou contractuellement à l’authentification forte doivent l’accepter au plus tard 36 mois après cette date, sur demande volontaire de l’utilisateur; banques et services financiers figurent dans les secteurs cités. Les micro et petites entreprises sont exemptées, et les premiers règlements d’exécution étant entrés en vigueur le 24 décembre 2024, les échéances sont fin 2026 pour les portefeuilles et fin 2027 pour l’acceptation.

Techniquement, l’Architecture and Reference Framework européen définit les échanges entre portefeuille et banque: données d’identité et attestations sont émises via OpenID4VCI et présentées à distance via OpenID4VP, selon le profil d’interopérabilité HAIP. Le portefeuille public allemand est développé pour le BMDS par l’Agence fédérale d’innovation de rupture SPRIND, avec notamment BSI, Bundesdruckerei et Fraunhofer AISEC. Une présentation porte la signature de son émetteur, vérifiée par la banque, tandis que les autres obligations KYC et antiblanchiment demeurent.