Die Kontrollschleife ist zur Unterschrift geworden

„Ein Mensch prüft das Ergebnis." Mit diesem Satz endet fast jede KI-Governance, die mir auf den Tisch kommt. Er steht in Konzepten, in Freigaberegelungen, in Präsentationen für den Vorstand, und er beruhigt zuverlässig alle im Raum. Ob dieser Mensch das überhaupt kann, fragt fast niemand nach.

Dabei entscheidet sich genau daran alles. Hat die Person die Zeit, zweihundert Outputs am Tag tatsächlich zu lesen? Hat sie das Fachwissen, einen Fehler zu erkennen, der sauber formuliert und höflich begründet daherkommt? Darf sie Nein sagen, ohne dass es sie etwas kostet? Und wenn sie Nein sagt: Geht der Fall zurück, oder läuft er trotzdem durch? Kippt eine dieser Antworten, ist der Mensch keine Qualitätssicherung mehr. Er ist Haftungsverteilung. Ein Name unter einer Entscheidung, die er faktisch nicht getroffen hat.

Der AI Act ist an dieser Stelle strenger, als es die meisten Umsetzungen sind. Artikel 14 verlangt nicht irgendeine Aufsicht, sondern eine Person, die die Grenzen des Systems versteht, die sich der eigenen Neigung bewusst ist, maschinellen Ergebnissen zu vertrauen, und die den Output auch tatsächlich verwerfen kann. Automation Bias haben Raja Parasuraman und Victoria Riley schon 1997 beschrieben, lange vor jedem Chatbot. Wir bauen gerade Prozesse, die diesen Effekt systematisch erzeugen, und nennen sie Kontrolle.

Was mich dabei wirklich beschäftigt, ist die Ermüdung. Jeder, der schon einmal Freigaben gemacht hat, kennt das: Nach dem fünfzigsten korrekten Ergebnis liest niemand das einundfünfzigste noch genau. Das ist kein Charakterfehler, das ist Aufmerksamkeit unter realen Bedingungen. Ich sehe das in Organisationen regelmäßig, und es trifft die Gewissenhaften genauso wie alle anderen. Kontrolle, die immer stattfindet, findet irgendwann nirgends mehr statt.

Ich sage das nicht, weil ich weniger Automatisierung will. Ich arbeite täglich mit diesen Werkzeugen und halte viel von dem, was sie möglich machen. Aber ein Kontrollschritt, der nur existiert, damit im Prozessdiagramm ein Menschensymbol steht, schützt niemanden. Er schützt nicht die Organisation, und die Person, die klickt, schützt er am allerwenigsten.

Die naheliegende Frage lautet: Wo bauen wir einen Menschen in den Prozess? Die bessere lautet: An welcher Stelle hat eine Entscheidung Konsequenzen für einen anderen Menschen? Dort gehört Aufmerksamkeit hin, mit Zeit, Kompetenz und dem Recht, den Vorgang anzuhalten. Überall sonst reicht die Stichprobe, und wo sie nicht reicht, braucht es eine Eskalation statt eines Rituals.

Das Unangenehme daran: Man muss dann offen hinschreiben, wo die Maschine allein läuft. Das kostet Mut in jeder Führungsrunde. Es kostet weniger als eine Kontrolle, die es nur auf dem Organigramm gibt.