KI-Sicherheitsinstitut

BMDS und BMI nennen als zentrales Ziel, die Chancen und Risiken fortschrittlicher KI-Modelle für Deutschland zu bewerten und die Resilienz im Bereich künstlicher Intelligenz dauerhaft zu stärken. In der laufenden ersten Phase analysiert das Institut vor allem führende KI-Modelle und deren Fähigkeiten und Risiken für die Cybersicherheit. Nach jüngsten Vorfällen sehen die beiden Ministerien außerdem zunehmend konkrete Risiken durch einen Kontrollverlust über sehr leistungsfähige Modelle.

Die Bundesregierung nennt weitere Aufgaben: Das Institut soll Lösungen für den sicheren Einsatz von KI-Systemen entwickeln, sich mit vergleichbaren Instituten im Ausland austauschen und auf einheitliche internationale Standards hinwirken. Gegenüber der OECD beschreibt Deutschland als Kernaufgaben die technische Evaluierung fortschrittlicher Modelle auf Cyberfähigkeiten, Autonomie, Robustheit und Missbrauchspotenzial, die Analyse ihrer Sicherheitsfolgen für Staat, Wirtschaft und Gesellschaft und die Beobachtung internationaler Technologietrends.

Das BMDS unter Bundesdigitalminister Karsten Wildberger und das BMI unter Bundesinnenminister Alexander Dobrindt bauen das Institut gemeinsam auf und führen es. Für die erste Phase haben beide Ministerien das BSI und die Bundesnetzagentur mit den Aufgaben betraut: Das BSI übernimmt die Dimension (Cyber-)Security, die Bundesnetzagentur die Dimension Safety, und weitere Akteure aus dem Sicherheitsbereich sind eng eingebunden. Security meint den Schutz von KI-Systemen und ihren Daten vor Angriffen und Missbrauch, Safety meint unbeabsichtigte Fehler, etwa ein autonomes Fahrzeug, das ein Hindernis zu spät erkennt, wie die Börsen-Zeitung erläutert.

Karsten Wildberger begründete den Aufbau so: „Deutschland braucht ein leistungsfähiges KI-Sicherheitsinstitut, das mit der enormen technologischen Entwicklungsgeschwindigkeit Schritt hält.“ Alexander Dobrindt sagte bei der Gründung: „Künstliche Intelligenz bietet enorme Chancen für Bürgerinnen und Bürger, Wirtschaft und Staat. Klar ist aber auch: KI muss kontrollierbar bleiben und wir müssen an ihrer rapiden Entwicklung teilhaben.“

Das Institut hat seinen Sitz in Berlin, das sich laut Forschung & Lehre gegen Bewerbungen aus München und Saarbrücken durchgesetzt hat. In einer zweiten Phase wird das Institut thematisch und personell erweitert und soll dann einen strukturierten Wissenstransfer sicherheitsrelevanter Erkenntnisse zu KI in Bundesregierung, Verwaltung, Wirtschaft und Zivilgesellschaft sicherstellen. Die Bundesregierung will es außerdem für Beratung zu technischer Evaluierung, Entwicklungsszenarien und strategischem Handlungsbedarf nutzen.

Zu Personal und Budget haben die Ministerien bei der Gründung keine Zahlen veröffentlicht. Der Digitalverband Bitkom hatte nach dem Beschluss des Sicherheitsrates eine ausreichende Ausstattung verlangt, und Susanne Dehmel aus der Bitkom-Geschäftsleitung sagte dazu: „Dafür braucht das Institut mindestens eine Finanzierung auf dem Niveau des britischen AISI.“

Das BSI arbeitet seit 2019 in seinem Kompetenzzentrum Künstliche Intelligenz an Prüfkriterien, Methoden und Werkzeugen für sichere KI-Systeme, und das Kompetenzzentrum ist zentraler KI-Ansprechpartner der Bundesverwaltung. Ein erstes Ergebnis ist der Kriterienkatalog AIC4 für KI-Cloud-Dienste, eine Erweiterung von BSI C5, dessen Kriterien Sicherheit und Robustheit, Datenqualität, Erklärbarkeit und Bias über den gesamten Lebenszyklus eines Dienstes abdecken.

Für Banken und Versicherer hat das BSI im Projekt AICRIV einen Prüfkatalog für KI-Systeme im Finanzsektor (auf Englisch) mit rund 100 praxisnahen Testkriterien veröffentlicht. Der Katalog deckt IT-Sicherheit, Datenqualität, Modellrobustheit, Governance, menschliche Aufsicht und Leistung ab, richtet sich an Entwickler, Anbieter, Betreiber und Prüfer von KI-Systemen in der Finanzwirtschaft und unterstützt die Umsetzung der KI-Verordnung.

Das Institut tauscht sich bereits mit Partnerinstitutionen in Frankreich und im Vereinigten Königreich und mit dem EU AI Office fachlich aus, und die Zusammenarbeit mit europäischen und transatlantischen Partnern hat für BMDS und BMI besonderes Gewicht. Es soll sich außerdem aktiv in das internationale Netzwerk der KI-Sicherheitsinstitute einbringen, das dem Wissensaustausch und gemeinsamen Positionen der beteiligten Staaten dient, und mit seinen Partnern auf einheitliche Standards für den sicheren Umgang mit fortschrittlichster KI hinwirken.

Als Regulierungsbehörde ist das AISI Deutschland nicht angelegt, die Bundesregierung beschreibt es als analytisch-operatives Kompetenzzentrum. Die Aufsicht nach der KI-Verordnung der EU liegt bei anderen Stellen, und nach dem deutschen Durchführungsgesetz beaufsichtigt die BaFin KI-Systeme, die Banken und Versicherer unmittelbar für regulierte Finanzgeschäfte nutzen. Andere KI derselben Unternehmen, etwa im Personalwesen, beaufsichtigt die Bundesnetzagentur, die damit zugleich Marktüberwachungsbehörde nach der KI-Verordnung ist und im Institut die Dimension Safety trägt.

Auf EU-Ebene setzt das AI Office der Europäischen Kommission die Regeln für KI-Modelle mit allgemeinem Verwendungszweck durch und darf diese Modelle evaluieren. Mit diesem Büro steht das deutsche Institut im fachlichen Austausch, und Banken begegnen den Regeln über die Modelle, die sie von großen Anbietern beziehen und in ihre KI-Governance aufnehmen.

BMDS und BMI nennen für das Institut kein eigenes Mandat gegenüber Banken oder Versicherern, die Finanzbranche gehört aber zur Wirtschaft, an die das Institut in der zweiten Phase sicherheitsrelevante Erkenntnisse weitergeben soll. Mehrere Risiken, die es an führenden Modellen bewertet, zeigen sich im Finanzsektor schon heute als Betrug: Die ENISA berichtet, dass KI-gestützte Phishing-Kampagnen Anfang 2025 mehr als 80 Prozent der beobachteten Social-Engineering-Aktivität weltweit ausgemacht haben sollen.

Das BSI warnt, dass ein Angreifer eine Person mit der per Deepfake erzeugten Stimme ihrer Führungskraft anrufen könnte, um eine Geldtransaktion auszulösen, den sogenannten CEO-Fraud. Abgegriffene Zugangsdaten aus Phishing führen zur Kontoübernahme, gegen die Banken auch KI-gestützte Betrugserkennung einsetzen. Für Risikomanager kann die Bewertung der Cyberfähigkeiten führender Modelle zeigen, welche Angriffe ein verfügbares Modell erleichtert, und der Prüfkatalog des BSI für KI im Finanzsektor liefert Kriterien für die eigenen Systeme.

Deepfakes sind laut BSI eine hohe Gefahr für biometrische Systeme, weil manche Verfahren bereits in Echtzeit laufen, und Fernidentifikation wie die Videoidentifikation gilt als besonders angreifbar. Wer prüft, erhält dort nur das Ausgangssignal und hat keine Kontrolle über die Kamera oder über Änderungen am aufgenommenen Material. An dieser Stelle setzen Injection-Angriffe an, die einen vorbereiteten Videostrom an der Kamera vorbei direkt in die App einer Bank einspeisen.

Für die IKT-Sicherheit gilt im Finanzsektor seit dem 17. Januar 2025 der Digital Operational Resilience Act: Artikel 6 verlangt einen dokumentierten Rahmen für das IKT-Risikomanagement, und Artikel 5 macht das Leitungsorgan dafür verantwortlich. Schwerwiegende IKT-Vorfälle melden Banken in Deutschland an die BaFin, und NIS2 tritt für Finanzunternehmen hinter DORA zurück, weil § 28 Absatz 6 BSIG ihre Pflichten zu Risikomanagement, Meldungen und Leitung ausnimmt.

Die Verordnung (EU) 2024/1183 verpflichtet in Artikel 5a jeden Mitgliedstaat, innerhalb von 24 Monaten nach Inkrafttreten der Durchführungsrechtsakte mindestens eine EUDI-Wallet bereitzustellen. Nach Artikel 5f Absatz 2 müssen private vertrauende Beteiligte, die nach Gesetz oder Vertrag eine starke Nutzerauthentifizierung verlangen, die Wallet spätestens 36 Monate nach diesem Datum auf freiwilligen Wunsch der Nutzer annehmen, und Banken und Finanzdienstleistungen stehen ausdrücklich in der Liste der Bereiche. Kleinst- und Kleinunternehmen sind ausgenommen, und weil die ersten Durchführungsverordnungen am 24. Dezember 2024 in Kraft traten, laufen die Fristen Ende 2026 für die Wallets und Ende 2027 für die Annahme ab.

Technisch legt das Architecture and Reference Framework der EU fest, wie Daten zwischen Wallet und Bank fließen: Identitätsdaten und Nachweise werden über OpenID4VCI ausgegeben und aus der Ferne über OpenID4VP vorgelegt, jeweils im Interoperabilitätsprofil HAIP. Die staatliche EUDI-Wallet entwickelt die Bundesagentur für Sprunginnovationen SPRIND im Auftrag des BMDS, gemeinsam mit Partnern wie dem BSI, der Bundesdruckerei und Fraunhofer AISEC. Eine Vorlage aus der Wallet trägt die Signatur des Ausstellers, die eine Bank prüft, während die übrigen Sorgfaltspflichten aus KYC und Geldwäscheprävention bestehen bleiben.