Auch Algorithmen sind nur Menschen: Eigentlich sollten sie vorurteilsfrei entscheiden. Geschlecht, Hautfarbe, Religion, Herkunft – kann einem Algorithmus im Grunde alles egal sein. Aber weil Menschen Algorithmen programmieren oder KI-Systeme trainieren, kommt es immer wieder zu Diskriminierung. Teilweise mit erheblichen Folgen. Das Land NRW will dagegen etwas unternehmen.

NRW-Gleichstellungsministerin Ina Scharrenbach startet eine bundesweite Initiative gegen diskriminierende Computer-Algorithmen. Bei der Kreditvergabe würden Frauen oft per se benachteiligt. “Sie müssen höhere Zinsen zahlen, mehr Sicherheiten bieten oder bekommen erst gar keinen Kredit”, argumentiert die Ministerin. Sie beruft sich dabei auf eine Studie des Karlsruher Instituts für Technologie.

Dass wir ein Problem haben mit Algorithmen, die still und leise Entscheidungen fällen – das ist unbestreitbar. Vor allem fallen diese Entscheidungen in der Regel intransparent – und ohne Begründung.

Es gibt viele irritierende Beispiele dafür. Apple-Gründer Steve Wozniak zum Beispiel berichtet auf Twitter, dass seine Frau einen geringeren Kreditrahmen bei der Kreditkarte von Apple habe als er selbst. Obwohl sie eine Gütergemeinschaft bilden – und ohne jeden Zweifel kreditwürdig sind.

Offensichtlich kein Einzelfall bei der Apple Card. Auch dieser Nutzer beklagt, dass er einen 20 Mal höheren Kreditrahmen habe als seine Frau. Der Tweet hat für einigen Wirbel gesorgt.

Wie kommt das? Absicht? Vorsatz?

Digitalisierung birgt die Gefahr für Intransparenz

Es ist das Ergebnis der zunehmenden Digitalisierung. Heute entscheiden Algorithmen oder KI-Systeme über viele Belange unseres Lebens. Auch über Kredite und Kreditrahmen. Sie machen das, indem sie gefüttert werden – mit unendlich vielen Beispielen aus der Vergangenheit. Wenn nun in der Vergangenheit mehr Männer Kredite aufgenommen haben – und höhere Summen -, so sind sie für die Algorithmen schnell die attraktiveren Kreditnehmer.

So bestimmt die Vergangenheit die Gegenwart und die Zukunft. “Das war schon immer so!”, sagt sich der Algorithmus – und bleibt dabei. Es gibt noch andere mögliche Gründe. Frauen verdienen im Durchschnitt immer noch weniger. Statistisch gesehen reisen möglicherweise auch mehr Männer, sie geben mehr Geld aus mit der Kreditkarte, belasten sie stärker – das macht sie für Algorithmen zum attraktiveren Kreditkunden.

Das eigentliche Problem aber ist: Es ist völlig intransparent, wie Algorithmen und vor allem KI-Systeme entscheiden. Es ist intransparent, wie sie programmiert wurden. Und vor allem für KI-Systeme gilt: Es ist intransparent, wie sie trainiert wurden. Das ist aber entscheidend für die Frage, wie die Systeme entscheiden. Und wer wagt es schon, die Entscheidung eines KI-Systems in Frage zu stellen?

Diskriminierung inside

Keine Frage: Viel zu viele Algorithmen und KI-Systeme sind diskriminierend. Es gibt Seifenspender, die geben Menschen mit dunkler Hautfarbe keine Seife. Ebenso ist bekannt, dass Menschen mit dunkler Hautfarbe ein deutlich höheres Risiko haben, von einem selbstfahrenden Auto “übersehen” und damit angefahren zu werden.

Warum? Weil die KI-Systeme vor allem mit hellhäutigen Menschen trainiert wurden.

Es schleicht sich also schnell Diskriminierung in Algorithmen ein – und das hat heute eine immer größere Tragweite. Weil KI-Systeme Kredite bewilligen, Wohnungen vergeben, Bewerbungen vorsortieren und vieles andere mehr. Und der einzelne Mensch kann das weder kontrollieren noch korrigieren. “Das System hat das so entschieden!”. Fertig.

Hier hat Ina Scharrenbach recht: So etwas muss unbedingt verhindert werden. Dafür braucht es dringend völlige Transparenz bei KI-Systemen und Algorithmen. Aber in allen Belangen: Wer sich nur auf die Benachteiligung von Frauen beschränkt, diskriminiert selbst auch. Es ist wichtig, die Diskriminierung an sich zu verhindern. Dafür müssen wir an die Algorithmen ran.