AUS DER PRAXIS · FALL 06 · KI
WENN KI
DAS MENSCHLICHE
URTEIL VERÄNDERT.
Was geschieht, wenn eine Entscheidung formal beim Menschen bleibt, ihre Voraussetzungen aber zunehmend von technischen Systemen geprägt werden?
In einer Organisation unterstützten leistungsfähige KI-Systeme Entscheidungen, erstellten Prognosen und übernahmen Teile operativer Prozesse.
Die Entscheidung selbst blieb beim Menschen.
Doch mit zunehmender Nutzung veränderte sich etwas, das weniger sichtbar war: Die Ergebnisse der Systeme wurden immer häufiger zum Ausgangspunkt weiterer Überlegungen. Bewertungen, Scores und Empfehlungen strukturierten vor, welche Optionen plausibel erschienen und welche Entscheidungen als rational begründbar galten.
Damit entstand eine neue Frage:
Wer urteilt tatsächlich, wenn der Mensch entscheidet, aber das System zunehmend bestimmt, worüber und auf welcher Grundlage geurteilt wird?
01
DIE SITUATION
Die KI-Systeme erfüllten ihre Aufgabe.
Sie konnten große Datenmengen verarbeiten, Zusammenhänge verdichten und Prognosen oder Empfehlungen erzeugen, die für menschliche Entscheidungsträger wertvoll waren.
Ihr zunehmender Einfluss entstand deshalb nicht durch offensichtliches Versagen, sondern durch ihre Leistungsfähigkeit.
Je verlässlicher ihre Ergebnisse erschienen, desto selbstverständlicher wurden sie in Entscheidungsprozesse integriert. Führungskräfte und Gremien bezogen sich zunehmend auf algorithmische Einschätzungen. Entscheidungen wurden weiterhin von Menschen getroffen, waren aber bereits durch technische Bewertungen vorbereitet und gerahmt.
Formal hatte sich an den Zuständigkeiten wenig geändert.
Tatsächlich begann sich jedoch zu verändern, was innerhalb der Organisation als plausible Entscheidung galt.
02
WAS DARUNTER LAG
KI entscheidet nicht nur dort mit, wo ihr formal eine Entscheidung übertragen wird.
Einfluss kann wesentlich früher entstehen.
Ein Prognosemodell hebt bestimmte Entwicklungen hervor. Ein Score verdichtet unterschiedliche Merkmale zu einer Kennzahl. Eine Empfehlung ordnet mehrere Möglichkeiten nach ihrer errechneten Plausibilität.
Damit wird noch keine Entscheidung getroffen.
Aber der Raum, innerhalb dessen Menschen anschließend urteilen, ist bereits strukturiert.
Der dokumentierte Fall beschreibt genau diese Verschiebung: KI wurde nicht zum formalen Entscheidungsträger. Ihre Ergebnisse entwickelten jedoch eine implizite Autorität, weil sie zunehmend als objektiver Referenzpunkt verwendet wurden.
Damit verlagerte sich ein Teil des Einflusses von der sichtbaren Entscheidung auf deren weniger sichtbare Voraussetzungen.
Die entscheidende Differenz lautete deshalb nicht mehr nur:
Mensch oder Maschine?
Sondern:
Entscheidung oder Vorstrukturierung der Entscheidung?
03
DER KRITISCHE PUNKT
Der kritische Punkt war nicht erreicht, als KI erstmals in einen Entscheidungsprozess einbezogen wurde.
Er entstand dort, wo aus technischer Unterstützung stille Autorität wurde.
Wenn ein algorithmisch erzeugtes Ergebnis als besonders objektiv, präzise oder rational erscheint, verändert sich die Begründungslast. Nicht mehr die Empfehlung muss umfassend gerechtfertigt werden. Zunehmend muss begründet werden, warum von ihr abgewichen werden soll.
Genau darin liegt eine strukturelle Verschiebung.
Ein Mensch kann weiterhin formal entscheiden und dennoch einen Teil seiner Urteilskraft nicht mehr aktiv ausüben, wenn die Prämissen des technischen Vorschlags kaum noch hinterfragt werden.
Der Ausgangsfall beschreibt KI deshalb auch als Legitimationsressource: Algorithmische Empfehlungen konnten Entscheidungen absichern, obwohl die formalen Verantwortlichkeiten unverändert beim Menschen lagen.
Menschliche Entscheidung ist deshalb nicht automatisch menschliches Urteil.
"
MENSCHLICHE
ENTSCHEIDUNG
IST NICHT
AUTOMATISCH
MENSCHLICHES
URTEIL.
04
WAS SICH VERÄNDERTE
Die Antwort bestand nicht darin, KI aus den Entscheidungsprozessen zurückzudrängen.
Ihre Leistungsfähigkeit sollte erhalten bleiben.
Verändert wurde stattdessen die Urteilskette.
Es wurde deutlicher markiert, an welchen Punkten KI Entscheidungen lediglich vorbereiten durfte und wo menschliche Bewertung unverzichtbar blieb. Prognose und Bewertung wurden stärker voneinander getrennt. Verantwortlichkeiten blieben trotz algorithmischer Beteiligung eindeutig zugeordnet. Annahmen und Prämissen der verwendeten Modelle wurden zum Gegenstand regelmäßiger Reflexion.
Damit wurde KI nicht als eigenständiger Akteur behandelt, sondern als Teil der institutionellen Infrastruktur.
Der Effekt war bemerkenswert: Die Organisation musste nicht auf die Leistungsfähigkeit ihrer Systeme verzichten. Gleichzeitig wurden Entscheidungen nachvollziehbarer und Verantwortlichkeiten klarer. KI verlor den Status einer stillen Autorität, ohne ihren Nutzen zu verlieren.
05
WAS DER FALL ZEIGT
Die entscheidende Frage beim Einsatz von KI beginnt nicht erst dort, wo eine Maschine autonom entscheidet.
Sie beginnt früher.
Technische Systeme können Entscheidungen verändern, ohne selbst Entscheidungsträger zu sein. Sie beeinflussen, welche Informationen sichtbar werden, welche Zusammenhänge hervorgehoben werden, welche Optionen plausibel erscheinen und welche Abweichungen besonders begründungsbedürftig werden.
Damit verändert sich auch die Aufgabe menschlicher Urteilskraft.
Sie besteht nicht darin, technische Empfehlungen grundsätzlich zurückzuweisen oder ihnen lediglich eine menschliche Unterschrift hinzuzufügen.
Sie besteht darin, unterscheiden zu können:
Was prognostiziert das System? Auf welchen Voraussetzungen beruht diese Prognose? Welche Bewertung folgt daraus – und wer übernimmt Verantwortung dafür, aus dieser Information eine konkrete Entscheidung zu machen?
Genau an dieser Stelle bleibt menschliches Urteil unverzichtbar.
Denn KI kann Informationen verdichten, Prognosen erzeugen und Entscheidungen vorbereiten. Verantwortung für die Bedeutung, die diesen Ergebnissen in einer konkreten Situation gegeben wird, lässt sich dadurch nicht automatisch mitübertragen. Der Ausgangsfall formuliert diese Trennung ausdrücklich: KI kann Entscheidung vorbereiten und plausibilisieren, aber keine institutionelle Verantwortung tragen.
Der Fall führt deshalb zu einer weitergehenden Einsicht:
Je leistungsfähiger technische Systeme werden, desto wichtiger wird nicht weniger, sondern präziser bestimmtes menschliches Urteil.
ZENTRALE FRAGE
WO BLEIBT
DAS MENSCHLICHE
URTEIL, WENN KI
BEREITS BESTIMMT,
WAS ALS PLAUSIBEL
ERSCHEINT?
Die entscheidende Grenze verläuft nicht zwischen Mensch und Maschine, sondern zwischen Vorbereitung und Urteil.
Hinweis
ZUM FALLBESTAND
Dieser Fall gehört zu einem Bestand von 50 kuratierten und anonymisierten Fällen aus mehr als drei Jahrzehnten Berufspraxis.
Die Fälle beruhen auf realen Projekten, Mandaten und Begleitungen. Identifizierende Angaben wurden verändert; im Mittelpunkt stehen nicht einzelne Organisationen oder Personen, sondern die Strukturen und Dynamiken, die in den jeweiligen Situationen sichtbar wurden. Der zugrunde liegende Werkbestand bestätigt, dass sämtliche Fälle auf realen beruflichen Zusammenhängen beruhen und identifizierende Details verändert wurden.