Human in the Loop: Warum „ein Mensch schaut da noch drüber“ oft nur eine Behauptung ist

Bewerbung aussortiert, Kredit abgelehnt, Antrag abgewiesen – und irgendwo im Kleingedruckten steht: Ein Mensch hat das geprüft. Klingt beruhigend. Ist es aber nur, wenn dieser Mensch auch wirklich etwas zu sagen hat.

Kennst du diesen Satz? „Ein Mensch schaut da noch drüber.“ Er steht in Bewerbungsportalen, bei Banken, bei Behörden, in den Datenschutzhinweisen von Versicherungen. Und er hat eine klare Aufgabe: Er soll dich beruhigen. Die Maschine sortiert vor, aber am Ende entscheidet ein Mensch. Alles gut.

Das Fachwort dafür heißt Human in the Loop, der Mensch in der Schleife. Klingt nach Sicherheit. Nur schützt dieser Mensch in vielen Fällen nicht dich, sondern den Anbieter. Denn wenn etwas schiefgeht, gibt es plötzlich jemanden, der schuld ist. Und das ist nicht die Software. Es ist der Mensch, der nicht aufgepasst hat.

Erst mal die gute Nachricht: Richtig gemacht, ist das eine großartige Idee

Damit wir uns nicht missverstehen: Human in the Loop ist nichts Schlechtes. Im Gegenteil, es gehört zu den besten Konzepten, die wir für den Umgang mit KI haben. Drei Beispiele, bei denen es nachweislich funktioniert.

Erstens die Brustkrebs-Früherkennung. In einer deutschen Studie mit über 460.000 Frauen hat eine KI die Mammografie-Aufnahmen zusätzlich zu zwei Ärztinnen und Ärzten begutachtet. Das Ergebnis: 17,6 Prozent mehr entdeckte Karzinome, ohne dass mehr Frauen unnötig zu einer Nachuntersuchung einbestellt wurden. Die KI liefert Hinweise, die Menschen entscheiden.

Zweitens dein Spamfilter. Der sortiert automatisch aus, aber die aussortierten Mails landen in einem Ordner, in den du jederzeit hineinschauen kannst. Und drittens ein KI-Assistent, der dir eine Antwortmail vorschlägt, sie aber erst abschickt, wenn du auf „Senden“ drückst.

Schau dir an, was diese drei gemeinsam haben. Der Mensch sieht, worauf der Vorschlag beruht. Die Menge ist zu schaffen. Und ein Fehler fällt auf und lässt sich zurücknehmen. Wenn diese drei Bedingungen erfüllt sind, ist Human in the Loop genau das, was es verspricht.

Das Problem beginnt dort, wo das Etikett draufklebt, aber keine dieser Bedingungen erfüllt ist. Und das ist leider der Normalfall.

Vom Cockpit in die Sachbearbeitung

Der Begriff ist älter als die heutige KI. Er stammt aus dem Cockpit und aus der Fabriksteuerung. Dort funktioniert er, weil ausgebildete Leute eingreifen können und eingreifen dürfen. Ein Pilot hat die Instrumente vor sich, die Zeit zum Reagieren und die Befugnis, den Autopiloten abzuschalten.

Überträgt man das Konzept auf eine Sachbearbeiterin mit 200 Fällen am Tag, wird aus dem Menschen in der Schleife ein Mensch in der Warteschleife. Sie sieht nicht, warum das System einen Antrag ablehnt. Sie hat pro Fall ein paar Sekunden. Und ob sie überhaupt widersprechen darf, steht auf einem anderen Blatt.

Die moralische Knautschzone

Die Forscherin Madeleine Clare Elish hat dafür ein Bild gefunden, das hängen bleibt: die moralische Knautschzone. In deinem Auto verformt sich die Knautschzone beim Aufprall und schützt dadurch dich. In automatisierten Systemen gibt es auch so eine Zone. Nur schützt die nicht den Menschen, sondern das System. Die Knautschzone ist der Mensch selbst. Elish nennt ihn einen Haftungsschwamm: Er saugt die Verantwortung auf, die eigentlich woanders hingehört.

Ihr bekanntestes Beispiel ist der erste tödliche Unfall mit einem selbstfahrenden Testwagen, 2018 in Arizona. Im Auto saß eine Sicherheitsfahrerin. Strafrechtlich verfolgt wurde am Ende sie. Nicht die Software, nicht das Unternehmen. Dabei lautet die entscheidende Frage nicht, ob sie einen Fehler gemacht hat. Sondern ob ein Mensch in dieser Rolle in der entscheidenden Sekunde überhaupt noch reagieren kann, nachdem er stundenlang einem System zugeschaut hat, das fast immer alles richtig macht.

Warum Menschen durchwinken

Menschen winken nicht durch, weil sie faul sind. Sie winken durch, weil die Aufgabe es erzwingt. Stell dir vor, du prüfst 100 Vorschläge am Tag, und 98 davon sind richtig. Nach der dreißigsten Bestätigung hört dein Kopf auf, wirklich hinzusehen. Das ist keine Schwäche, das ist Biologie.

Dafür gibt es einen Fachbegriff: Automation Bias, auf Deutsch Automatisierungs-Voreingenommenheit. Wir vertrauen der Maschine mehr als dem eigenen Urteil. Keine Charakterfrage, sondern eine Eigenschaft der Aufgabe.

Aufsichtsbehörden schauen deshalb auf zwei schlichte Zahlen. Erstens: Wie oft widerspricht der Mensch? Wer 99,8 Prozent aller Vorschläge bestätigt, beweist keine gute KI, sondern eine schlafende Aufsicht. Zweitens: Wie viel Zeit hat er? Fünf Sekunden für eine Entscheidung, die zwei Minuten braucht, sind keine Prüfung. Das ist ein Klick.

Das steht inzwischen im Gesetz

Genau das hat die EU in ihre KI-Verordnung geschrieben. Artikel 14 verlangt für alle Hochrisiko-Systeme eine wirksame menschliche Aufsicht. Hochrisiko heißt zum Beispiel: Bewerberauswahl, Kreditwürdigkeit, Bildung, Medizin.

Und „wirksam“ ist definiert. Der Mensch muss verstehen, was das System kann und was nicht. Er muss den Vorschlag überschreiben oder rückgängig machen können. Und er muss den Betrieb stoppen können. Behauptete Aufsicht reicht nicht. Der Europäische Datenschutzbeauftragte sagt es unverblümt: Oft wird die menschliche Beteiligung nur simuliert. Im Bewerbungsverfahren prüft niemand die Absage. Jemand klickt auf „Bestätigen“.

Dazu gibt es sogar ein Urteil. Der Europäische Gerichtshof hat 2023 zum Schufa-Score entschieden: Hängt die Kreditentscheidung maßgeblich von diesem Wert ab, ist schon die Berechnung des Scores die eigentliche Entscheidung. Auch wenn hinterher ein Mensch unterschreibt. Übersetzt heißt das: Es zählt nicht, wer unterschreibt. Es zählt, wer entscheidet.

Drei Fragen, die du dir merken solltest

Daraus lassen sich drei Fragen ableiten, mit denen du jede „Ein Mensch schaut drüber“-Behauptung prüfen kannst. Erstens: Hat der Mensch die Information? Sieht er, warum das System das vorschlägt? Zweitens: Hat er die Zeit? Und drittens: Hat er die Befugnis, Nein zu sagen?

Wenn eine dieser drei Antworten Nein lautet, ist die Aufsicht Dekoration. Ein Häkchen ist kein Urteil.

Was du konkret tun kannst

Wenn dich eine automatisierte Entscheidung trifft, Kredit abgelehnt, Bewerbung aussortiert, dann frag nicht nur nach dem Warum. Frag: Wer hat entschieden, und was genau hat der Mensch daran geprüft? Auf diese Frage haben viele Anbieter keine gute Antwort. Und genau das ist die Antwort.

Und wenn du beruflich selbst so ein Häkchen setzt, weißt du jetzt, wo du sitzt: in der Knautschzone. Sorg dafür, dass du Information, Zeit und Befugnis hast. Am besten schriftlich. Das ist kein Misstrauen gegenüber deinem Arbeitgeber, das ist Arbeitsschutz.

Fazit

Human in the Loop kann großartig sein. Aber es ist keine Garantie, sondern eine Behauptung, die man prüfen muss. Die KI entscheidet nicht, weil sie denkt. Sie rechnet. Entscheiden müssen Menschen. Dann sollen sie es auch dürfen.