KI-Agenten-Sicherheit
Die Sicherheit von KI-Agenten schützt Software, die Anweisungen auswertet und über angebundene Werkzeuge handelt. Der Schutz umfasst auch die Informationen und Systeme, auf die diese Werkzeuge zugreifen können. Manipulierte Anweisungen in fremden Inhalten können einen Agenten dazu bringen, Daten weiterzugeben oder eine nicht genehmigte Aktion auszuführen.
Die Sicherheit von KI-Agenten begrenzt ihre Lese- und Änderungsrechte und verlangt Freigaben für sensible Aktionen. Protokolle der Werkzeugaufrufe helfen Beschäftigten, unerwartetes Verhalten zu erkennen und Vorfälle zu untersuchen. Bei Finanzunternehmen unter Aufsicht der BaFin unterstützen diese Kontrollen das Technologierisikomanagement nach DORA, dem EU-Regelwerk für Technologierisiken im Finanzsektor.
Wie Angriffe auf KI-Agenten ablaufen
Der bekannteste Angriff ist Prompt Injection: Anweisungen, versteckt in einer E-Mail, einem Dokument oder einer Webseite, die der Agent liest und befolgt. Das BSI beschrieb indirekte Prompt Injections schon früh als Schwachstelle jedes Sprachmodells, das Daten aus unsicheren Quellen verarbeitet. IBM (auf Englisch) nennt weitere Wege: Werkzeugmissbrauch, falsche Daten im Gedächtnis des Agenten und gestohlene Zugangsdaten, mit denen sich Angreifer als Agent ausgeben. Der Schaden wächst mit den Rechten des Agenten; IBMs Liste der Gegenmaßnahmen beginnt mit Zero Trust und minimalen Rechten.
Die OWASP Top 10 for Agentic Applications (auf Englisch), mit über 100 Fachleuten erstellt, ordnen diese Risiken vom Kapern des Agentenziels bis zum abtrünnigen Agenten. Eine Bank kann sie als Prüfliste für Penetrationstests und Modellrisiko-Reviews nutzen.
Was BaFin und DORA erwarten
Die Orientierungshilfe der BaFin zu IKT-Risiken beim Einsatz von KI wendet DORA auf KI-Systeme an und nennt drei Risiken im Betrieb. Bösartige Prompts können ein Sprachmodell zu ungeplantem Verhalten zwingen, etwa über einen Link auf eine Webseite mit versteckten Anweisungen. Ein kompromittierter Assistent kann vertrauliche Daten an Nutzer ohne Zugriffsrecht geben. Und API-Zugänge zu einem Modell können Angreifern den Weg in angeschlossene Systeme öffnen. Die BaFin rät zu Überwachung der KI-Interaktionen, Anomalieerkennung und sorgfältiger Rechtevergabe.
Die Orientierungshilfe ist unverbindlich, die Pflichten dahinter nicht: IKT-Risikomanagement und Drittparteienrisiko nach DORA. Jeder Modellanbieter und jeder MCP-Server, den ein Agent nutzt, ist ein IKT-Dienst, den die Bank bewerten, vertraglich regeln und erfassen muss.
Kontrollen, die Zahlungsfirmen nutzen
Stripe lässt Agenten über seinen MCP-Server mit engen Agentenschlüsseln arbeiten und Erstattungen sowie ausgehende Zahlungen vorher von einem Menschen freigeben. Beim Kombinieren mehrerer Server droht Prompt Injection (Dokumentation). Visa und Mastercard geben Einkaufsagenten signierte Identitäten, damit Händler Bots sperren können, die sich nur als Agent ausgeben. Trusted Agent Protocol ist ein Verfahren dafür.
In den USA nennt die FINRA in ihren Beobachtungen zu KI-Agenten (auf Englisch) Agenten, die ihre Befugnis überschreiten, und schwer nachvollziehbare Ketten von Schritten als Risiken. Ein Protokoll jedes Werkzeugaufrufs ist die übliche Antwort.
Kommende Events zu Risiko & Compliance
Was heißt KI-Agenten-Sicherheit?
Sicherheit von KI-Agenten ist der Schutz von Agenten, ihren Zugangsdaten und den erreichbaren Systemen vor Manipulation und Missbrauch. Die Sicherheit von KI-Agenten umfasst, was der Agent liest und was er tun darf.
Was ist Prompt Injection?
Prompt Injection ist ein Angriff, bei dem ein vom Agenten gelesener Text, etwa eine E-Mail oder Webseite, Anweisungen enthält, die der Eigentümer nicht wollte, zum Beispiel Daten zu versenden oder ein Zahlungswerkzeug aufzurufen.
Welche Regeln gelten für KI-Agenten in Banken?
In der EU gelten für Banken die DORA-Regeln zu IKT-Risiko und IKT-Drittdiensten, in Deutschland zusätzlich die BaFin-Orientierungshilfe zu KI. Die KI-Verordnung verlangt Genauigkeit und Cybersicherheit bei Hochrisiko-Systemen wie der Kreditwürdigkeitsprüfung.
Sicherheit von KI-Agenten und Finance Loop
Finance Loop bringt Sicherheits- und Modellrisiko-Fachleute aus Banken mit den Entwicklern der Agenten zusammen. Finance Loop behandelt Agentensicherheit in den Tracks Risiko & Compliance und Digitale Infrastruktur & Souveränität. Sicherheitsanbieter stellen ihren Ansatz in einem Webinar vor, Fachleute kommen über die Mitgliedschaft dazu.
Finance Loop ist ein Experten-Netzwerk, das die institutionelle Nutzung neuer Technologien im Finanzwesen fördert, wie KI, digitale Zahlungen sowie Cloud- und Blockchain-Lösungen. Finance Loop hilft seinen Mitgliedern, Fähigkeiten und persönliche Netzwerke in diesen Feldern aufzubauen: Investment & digitale Vermögenswerte, Zahlungsverkehr & digitales Geld, Digitale Infrastruktur & Souveränität und Risiko & Compliance.