Fallstudie: Kreditentscheidung im Schatten diskreter Wirksamkeit

Ein mittelgroßes Finanzinstitut implementiert ein KI-gestütztes System zur Bewertung von Kreditrisiken. Ziel ist es, die Effizienz der Entscheidungsprozesse zu steigern und gleichzeitig Ausfallrisiken präziser zu prognostizieren. Das System basiert auf einem Ensemble mehrerer Modelle, die historische Kundendaten, Transaktionsverläufe und externe Bonitätsindikatoren auswerten. Die finale Kreditentscheidung liegt formal weiterhin bei den zuständigen Sachbearbeitern. Diese prüfen die vom System generierten Risikoscores und treffen auf dieser Grundlage die operative Entscheidung.

In der Anfangsphase wird das System als deutliche Verbesserung wahrgenommen. Die Bearbeitungszeiten sinken, die Konsistenz der Entscheidungen steigt, und erste Auswertungen deuten auf eine Reduktion von Ausfallraten hin. Die Governance-Struktur bleibt weitgehend unverändert: Die Verantwortung für Kreditentscheidungen ist klar den Sachbearbeitern zugeordnet, während die IT-Abteilung für den Betrieb des Systems zuständig ist. Die Modellentwicklung wurde an einen externen Anbieter ausgelagert, der auch regelmäßige Updates bereitstellt.

Die Situation verändert sich, als sich Hinweise auf systematische Verzerrungen häufen. Bestimmte Kundengruppen erhalten überproportional häufig negative Bewertungen, obwohl ihre tatsächliche Rückzahlungsfähigkeit nicht signifikant abweicht. Interne Prüfungen zeigen, dass das Modell historische Daten verwendet, in denen bereits bestehende strukturelle Ungleichheiten enthalten sind. Diese werden durch die algorithmische Verarbeitung nicht neutralisiert, sondern verstärkt.

An diesem Punkt tritt das Zurechnungsproblem in den Vordergrund. Die betroffenen Sachbearbeiter haben die negativen Entscheidungen formal getroffen, jedoch auf Basis von Risikoscores, deren Zustandekommen sie nicht im Detail nachvollziehen können. Sie argumentieren, dass sie sich im Rahmen der vorgegebenen Prozesse bewegt haben und dass eine Abweichung von den Systemempfehlungen zusätzliche Rechtfertigung erfordert hätte. Die operative Verantwortung ist somit klar zugewiesen, ihre inhaltliche Grundlage jedoch systemisch vermittelt.

Die IT-Abteilung verweist darauf, dass sie lediglich für die Integration und den Betrieb des Systems verantwortlich ist. Die eigentliche Modelllogik liege beim externen Anbieter. Dieser wiederum betont, dass das Modell gemäß den vereinbarten Spezifikationen entwickelt wurde und auf den vom Institut bereitgestellten Daten basiert. Die Datenverantwortlichen im Institut argumentieren, dass sie lediglich bestehende Datenbestände genutzt haben, deren Struktur historisch gewachsen ist. Verantwortung verteilt sich somit auf mehrere Ebenen, ohne dass eine eindeutige Zuweisung möglich ist.

Das Framework der Diskreten Wirksamkeit ermöglicht es, diese Situation differenzierter zu analysieren. Die negative Kreditentscheidung ist nicht das Resultat einer einzelnen Handlung, sondern die Manifestation mehrerer diskreter Wirkungsbeiträge. Die Auswahl der Trainingsdaten, die Definition der Zielgröße (Minimierung von Ausfallrisiken), die Gewichtung bestimmter Variablen und die Gestaltung des Interfaces, das die Risikoscores präsentiert – all diese Elemente entfalten jeweils spezifische Wirkungen, die sich im finalen Entscheidungspunkt bündeln.

Die operative Handlung des Sachbearbeiters ist in diesem Gefüge lediglich der Ort der Aktualisierung. Die eigentliche Wirksamkeit entsteht in den vorgelagerten Strukturentscheidungen. Diese sind jedoch weder vollständig sichtbar noch institutionell als verantwortungsrelevant ausgewiesen. Es entsteht eine implizite Verantwortungsverschiebung: Während die Sachbearbeiter formal verantwortlich sind, liegt die faktische Gestaltungsmacht in den systemischen Komponenten.

Die Haftungsfrage verschärft diese Dynamik. Betroffene Kunden erwägen rechtliche Schritte und machen Diskriminierung geltend. Das Institut sieht sich gezwungen, Verantwortung zuzuweisen, um rechtliche Risiken zu minimieren. Eine naheliegende Strategie wäre, die Verantwortung auf die Sachbearbeiter zu konzentrieren, da sie die finalen Entscheidungen getroffen haben. Diese Strategie erweist sich jedoch als problematisch, da sie die systemischen Ursachen der Verzerrung ignoriert und intern auf Widerstand stößt.

Alternativ wird geprüft, inwieweit der externe Anbieter haftbar gemacht werden kann. Doch auch hier zeigen sich Grenzen: Der Anbieter hat das Modell entsprechend den gelieferten Daten und Anforderungen entwickelt. Eine klare Verletzung vertraglicher Pflichten lässt sich nicht nachweisen. Die Verantwortung liegt somit weder eindeutig intern noch extern, sondern in der Konfiguration des Gesamtsystems.

Die normative Dimension der Fallstudie wird besonders deutlich in der Frage, wie mit den identifizierten Verzerrungen umzugehen ist. Es genügt nicht, einzelne Entscheidungen zu korrigieren; vielmehr müssen die zugrunde liegenden Strukturen angepasst werden. Dies erfordert eine explizite Auseinandersetzung mit den Kriterien, nach denen Kreditwürdigkeit bewertet wird, und mit den Daten, die diese Bewertung speisen. Verantwortung verschiebt sich damit von der Entscheidungsebene auf die Ebene der Entscheidungsarchitektur.

Das Institut reagiert schließlich mit einer Reorganisation seiner Governance-Struktur. Es wird ein interdisziplinäres Gremium eingerichtet, das für die Überwachung und Weiterentwicklung des KI-Systems verantwortlich ist. Dieses Gremium umfasst Vertreter aus Fachabteilungen, IT, Recht und Compliance. Zudem werden neue Dokumentationspflichten eingeführt, die die Herkunft und Verarbeitung der Daten transparent machen. Entscheidungsprozesse werden so angepasst, dass Abweichungen von Systemempfehlungen nicht nur erlaubt, sondern aktiv eingefordert werden, wenn Zweifel an der Angemessenheit bestehen.

Diese Maßnahmen führen zu einer Verschiebung der Verantwortungsarchitektur. Verantwortung wird nicht länger ausschließlich an die operative Handlung geknüpft, sondern entlang der diskreten Wirkungsbeiträge verteilt. Die Gestaltung von Daten, Modellen und Prozessen wird als eigenständiger Verantwortungsbereich anerkannt. Haftung wird dadurch nicht vollständig geklärt, aber besser begründbar, da die relevanten Einflussfaktoren sichtbar und adressierbar sind.

Die Fallstudie zeigt, dass Verantwortung in KI-gestützten Organisationen nicht durch einfache Zuweisungen stabilisiert werden kann. Sie erfordert eine präzise Analyse der Wirkungszusammenhänge und eine entsprechende Anpassung der Governance-Strukturen. Das Framework der Diskreten Wirksamkeit liefert hierfür einen analytischen Rahmen, der es ermöglicht, Verantwortung dort zu verorten, wo sie tatsächlich entsteht. Es macht sichtbar, dass die entscheidenden Fragen nicht am Ende des Entscheidungsprozesses liegen, sondern in seiner Struktur.