KI in Banken und Versicherungen: Wenn Scheitern richtig teuer ist

Einleitung

Tag zwei nach dem Go-Live. Jemand aus dem Marketing tippt eine harmlose Frage nach einem Budget in den neuen KI-Assistenten und bekommt die Gehaltsliste der Geschäftsführung serviert. Tag drei: Ein Praktikant fragt nach einer Kundenübersicht und bekommt die Unterlagen zu einer laufenden Übernahme gleich mit. Niemand hat etwas gehackt. Diese Dateien standen seit Jahren offen, und die Leute hatten technisch schon immer Zugriff darauf – sie wussten es nur nicht, weil sie die Dokumente ohne KI nie gefunden hätten.

Man kann sich das wie einen Schlüsselbund vorstellen, der über zwanzig Jahre gewachsen ist. Der Zweitschlüssel fürs Archiv, damals für ein Projekt ausgegeben, das 2019 endete. Der Generalschlüssel, den jemand bekam, als er noch in der Abteilung war, aus der er längst weg ist. Der Schlüssel zum Kellerraum, in dem inzwischen ganz andere Dinge liegen als damals. Kein einziger dieser Schlüssel war je ein Problem, weil niemand mehr wusste, welches Schloss dazugehört. Genau das ändert sich, wenn ein KI-Assistent dazukommt: Der beantwortet nämlich nicht nur Fragen, er liefert auch gleich den Lageplan mit.

Microsoft hat für dieses Phänomen einen eigenen Namen geprägt – Oversharing – und baut inzwischen Werkzeuge dagegen. Gemeint ist der Fall, dass der Assistent Dateien zutage fördert, die jemand zwar technisch öffnen kann, aber nie hätte sehen sollen. Der Assistent liest schlicht alles, worauf eine Person Zugriff hat, quer über Ablagen, Postfächer und Chatkanäle. Was vorher in der Tiefe eines Netzlaufwerks verborgen lag, liegt jetzt eine Abfrage entfernt.

In einer normalen Firma ist das unangenehm. In einer Bank, einer Versicherung oder einer Kanzlei ist es etwas anderes: ein meldepflichtiger Vorfall mit Frist, Aufsicht, unangenehmen Fragen und potenziellem Bußgeld. Und die bittere Pointe ist, dass ausgerechnet die Häuser mit den strengsten Vorgaben oft die verworrensten Datenbestände haben – Jahrzehnte an Altsystemen, Fusionen, Dubletten und Rechtestrukturen, die niemand mehr überschaut. Dort, wo es am reizvollsten ist, einfach ein Large Language Model über alles zu legen und zu schauen, was passiert, ist das Scheitern am teuersten.

Deshalb stehen vor jedem Rollout vier Fragen. Keine einzige davon handelt vom Modell.

Schlüsselzitate

Die KI hat nichts kaputt gemacht, sie hat nur mit einem einzigen Satz in Alltagssprache sichtbar gemacht, was seit Jahren schief lief.
— 00:00:45

Das ist der ganze Mechanismus in einem Satz. Das Risiko war vorher schon da, es war nur unauffindbar – und Unauffindbarkeit ist kein Sicherheitskonzept.

Die KI erbt eure Rechtelandschaft 1 zu 1 mit allen Löchern.
— 00:06:13

Das ist übrigens kein Implementierungsfehler, sondern die Vorgabe: Eine korrekt gebaute Anwendung muss die Berechtigungen des Fragenden durchreichen. Nur taugt dieses Durchreichen genau so viel wie die Berechtigungen selbst.

Ich kann nicht letzten Endes 30 Jahre nicht anonymisierte Schadenakten ins Modell kippen, bloß weil es technisch geht.
— 00:09:57

Die zweite Frage ist die, die am häufigsten übersprungen wird, weil sie langweilig klingt. Personenbezogene Daten dürfen nur für den Zweck verwendet werden, für den sie erhoben wurden – und ein KI-Projekt ist selten dieser Zweck.

Ein Revisor wird niemals fragen, ist eure KI klug oder ist die beeindruckend, sondern er wird fragen, diese eine Entscheidung, auf welchen Dokumenten basiert die, auf welchen Prinzipien, wer hat sie freigegeben.
— 00:13:52

Auf diese Frage gibt es zwei mögliche Antworten: einen sauberen Audit Trail oder ein Schulterzucken. Das Schulterzucken ist die teurere.

Die allererste Entscheidung, die unser Klient getätigt hat, ist eine Organisationsentscheidung, keine Modellentscheidung.
— 00:20:05

Gemeint ist ein Anbieter von Compliance-Software für regulierte Branchen. Bevor über Modelle geredet wurde, stand fest: Kundendaten verlassen die europäische Cloud-Umgebung nicht, Zugriff läuft über ein Rechte- und Rollenkonzept, alles verschlüsselt, alles nachvollziehbar. Die Lösung läuft in Produktion – und zwar deswegen.

Was man in dieser Episode erfährt

Warum die gleiche Panne im regulierten Umfeld anders teuer ist — Eine zu breite Freigabe ist in einer normalen Firma ein Ärgernis, in einer Bank automatisch ein Datenschutzvorfall, der binnen weniger Tage der Aufsicht gemeldet werden muss. Eine falsche Auskunft gegenüber Kunden ist überall unerfreulich, hat aber im regulierten Umfeld Rechtsfolgen. Dieselbe Technik, dieselbe Fehlerquote, ein völlig anderer Preis.

Wie man Frage 1 beantwortet: Wer darf was sehen? — Die Folge geht die typischen Löcher durch: Freigaben für „nur dieses eine Projekt“, die nie zurückgenommen wurden. Berechtigungen, die nach einem Abteilungswechsel stehen blieben und nun auch für alle neu entstandenen Dateien gelten. Unklare Vererbung zwischen Ordnern. Die Lösung ist kein besseres Modell, sondern das Aufräumen der Rechte – und eine Validierung gegen die Realität, nicht gegen das Konzeptpapier.

Wie man Frage 2 beantwortet: Dürfen die Daten so verarbeitet werden? — Gesundheitsangaben in Versicherungen und Pharma, Bonitätsdaten in Banken, Mandantengeheimnisse in Kanzleien: Für diese Bestände gelten die strengsten Regeln, die es gibt. Die Folge zeigt, warum die Antwort selten „ja“ oder „nein“ lautet, sondern meist „ja, aber pseudonymisiert“ oder „ja, aber als Extrakt“.

Was das Recht auf menschliches Eingreifen praktisch bedeutet — Wenn eine KI-Anwendung Entscheidungen trifft, die Menschen erheblich betreffen – Kredit abgelehnt, Police gekündigt, Leistung verweigert –, hat der Betroffene Anspruch darauf, dass am Ende ein Mensch eingreift. Vorher geklärt ist das solides Handwerk. Hinterher geklärt ist es ein Gerichtsverfahren.

Warum Nachvollziehbarkeit eine Architekturentscheidung ist — Eine Antwort ohne Fundstelle ist nicht zulassungsfähig, egal wie souverän sie klingt. Verlangt sind Protokollierung, Dokumentation der Entscheidungswege, menschliche Aufsicht, Transparenz gegenüber Betroffenen und ein Recht auf Erklärung im Einzelfall. Das lässt sich einbauen, aber nicht nachrüsten – es verändert die Implementierung an vielen Stellen.

Was Fehler laut EU-KI-Verordnung kosten — Verbotene Praktiken bis zu 35 Millionen Euro oder 7 % des Weltjahresumsatzes. Vernachlässigte Pflichten bei Hochrisikoanwendungen bis zu 15 Millionen oder 3 %. Falschangaben gegenüber der Aufsicht 7,5 Millionen. Dazu der Fall Air Canada, in dem ein Kunde einen Rabatt einklagte, den der Chatbot erfunden hatte – und ihn bekam.

Den Selbsttest in vier Punkten — Kann jemand mit Sicherheit sagen, wer auf welche Dokumente Zugriff hat? Dürfen die Daten zu diesem Zweck verwendet werden? Ist für eine einzelne Antwort lückenlos zeigbar, worauf sie beruht und wer sie freigegeben hat? Ist geregelt, wie Verantwortung und Haftung verteilt sind? Wer bei einer dieser Fragen zögert, hat kein KI-Problem, sondern ein Organisationsproblem.

Warum sich das Fundament mehrfach auszahlt — Ein sauberes Rechtekonzept, geklärte Zweckbindung und eine nachvollziehbare Architektur sind keine Kosten für dieses eine Projekt. Sie tragen die nächste Anwendung mit. Die Hausaufgabe wird einmal gemacht und mehrfach genutzt.

Der bequeme Weg ist hier der teuerste – und das ist keine Moral, sondern eine Rechnung. Jede Stunde, die vorher in Rechte, Zweckbindung und Protokollierung fließt, ist billiger als ein einziger meldepflichtiger Vorfall. Die unbequeme Frage ist nicht, ob man diese Arbeit macht, sondern ob man sie vor oder nach dem ersten Audit macht. Und wer glaubt, sein Haus sei anders: Wann wurde eigentlich zuletzt geprüft, welche Schlüssel noch im Umlauf sind?

Wer wissen will, an welchen Stellen das eigene KI-Vorhaben in Produktion kippen könnte, findet unseren kostenlosen Check unter neomo.link/check.