Auch Algorithmen sind nur Menschen: Eigentlich sollten sie vorurteilsfrei entscheiden. Geschlecht, Hautfarbe, Religion, Herkunft – kann einem Algorithmus im Grunde alles egal sein. Aber weil Menschen Algorithmen programmieren oder KI-Systeme trainieren, kommt es immer wieder zu Diskriminierung. Teilweise mit erheblichen Folgen. Die EU und Deutschland haben reagiert – mit neuen Gesetzen und Regulierungen.
Seit 2024 ist der EU AI Act in Kraft, der erste umfassende Rechtsrahmen für Künstliche Intelligenz weltweit. Hochriskante KI-Systeme, die etwa in der Kreditvergabe oder Personalauswahl eingesetzt werden, müssen jetzt strenge Auflagen erfüllen. Doch die Realität zeigt: Algorithmic Bias ist weiterhin ein massives Problem.
Ein aktuelles Beispiel: Der Algorithmus einer großen deutschen Bank bewertete 2025 systematisch Kreditanträge von Menschen mit Migrationshintergrund schlechter – obwohl deren Bonität objektiv identisch war. Erst eine Untersuchung der BaFin deckte die diskriminierende Logik auf. Bei der Kreditvergabe würden nach wie vor bestimmte Gruppen per se benachteiligt. „Sie müssen höhere Zinsen zahlen, mehr Sicherheiten bieten oder bekommen erst gar keinen Kredit“, berichten Verbraucherschützer.
Dass wir ein Problem haben mit Algorithmen, die still und leise Entscheidungen fällen – das ist unbestreitbar. Vor allem fallen diese Entscheidungen in der Regel intransparent – und ohne Begründung.
Es gibt viele irritierende Beispiele dafür. Apple-Gründer Steve Wozniak zum Beispiel berichtete auf Twitter, dass seine Frau einen geringeren Kreditrahmen bei der Kreditkarte von Apple hatte als er selbst. Obwohl sie eine Gütergemeinschaft bildeten – und ohne jeden Zweifel kreditwürdig waren.
Offensichtlich kein Einzelfall bei der Apple Card. Auch dieser Nutzer beklagte, dass er einen 20 Mal höheren Kreditrahmen hatte als seine Frau. Der Tweet sorgte für einigen Wirbel und führte zu einer Untersuchung der New Yorker Finanzaufsicht.
Wie kommt das? Absicht? Vorsatz?
KI reproduziert historische Ungerechtigkeit
Es ist das Ergebnis der zunehmenden Digitalisierung. Heute entscheiden Algorithmen oder KI-Systeme über viele Belange unseres Lebens. Auch über Kredite und Kreditrahmen. Sie machen das, indem sie gefüttert werden – mit unendlich vielen Beispielen aus der Vergangenheit. Wenn nun in der Vergangenheit mehr Männer Kredite aufgenommen haben – und höhere Summen -, so sind sie für die Algorithmen schnell die attraktiveren Kreditnehmer.
So bestimmt die Vergangenheit die Gegenwart und die Zukunft. „Das war schon immer so!“, sagt sich der Algorithmus – und bleibt dabei. Es gibt noch andere mögliche Gründe. Frauen verdienen im Durchschnitt immer noch weniger. Statistisch gesehen reisen möglicherweise auch mehr Männer, sie geben mehr Geld aus mit der Kreditkarte, belasten sie stärker – das macht sie für Algorithmen zum attraktiveren Kreditkunden.
Das eigentliche Problem aber ist: Es war lange völlig intransparent, wie Algorithmen und vor allem KI-Systeme entscheiden. Das ändert sich jetzt langsam. Der EU AI Act verlangt von Anbietern hochriskanter KI-Systeme detaillierte Dokumentation und Transparenz. In Deutschland arbeitet das Bundesjustizministerium an einem „Algorithmus-TÜV“ für kritische Anwendungen.
Diskriminierung in allen Lebensbereichen
Keine Frage: Viel zu viele Algorithmen und KI-Systeme sind diskriminierend. Es gibt Seifenspender, die geben Menschen mit dunkler Hautfarbe keine Seife. Ebenso ist bekannt, dass Menschen mit dunkler Hautfarbe ein deutlich höheres Risiko haben, von einem selbstfahrenden Auto „übersehen“ und damit angefahren zu werden.
Warum? Weil die KI-Systeme vor allem mit hellhäutigen Menschen trainiert wurden.
Neuere Studien zeigen weitere beunruhigende Beispiele: Gesichtserkennung an Flughäfen identifiziert Menschen asiatischer Herkunft häufiger fälschlicherweise als Sicherheitsrisiko. Recruiting-Algorithmen sortieren systematisch Bewerbungen von Frauen für technische Jobs aus. Medizinische KI-Systeme diagnostizieren Herzinfarkte bei Frauen seltener korrekt, weil sie hauptsächlich mit männlichen Patientendaten trainiert wurden.
Es schleicht sich also schnell Diskriminierung in Algorithmen ein – und das hat heute eine immer größere Tragweite. Weil KI-Systeme Kredite bewilligen, Wohnungen vergeben, Bewerbungen vorsortieren, medizinische Diagnosen stellen und vieles andere mehr. Und der einzelne Mensch kann das weder kontrollieren noch korrigieren. „Das System hat das so entschieden!“. Fertig.
Neue Gesetze, aber noch lange kein Problem gelöst
Der EU AI Act ist ein wichtiger Schritt. Hochriskante KI-Systeme müssen jetzt Bias-Tests durchlaufen, ihre Trainingsdaten dokumentieren und diskriminierende Effekte minimieren. Verstöße können Bußgelder bis zu 35 Millionen Euro oder 7% des weltweiten Jahresumsatzes nach sich ziehen.
Doch die Umsetzung ist komplex. Viele Unternehmen tun sich schwer damit, ihre Algorithmen auf Fairness zu überprüfen. Es fehlen Standards, wie man „faire“ KI überhaupt misst. Ist ein System fair, wenn es alle Gruppen gleich behandelt? Oder wenn es unterschiedliche Startbedingungen ausgleicht?
Dazu kommt: Bias kann subtil sein. Ein Algorithmus diskriminiert vielleicht nicht direkt aufgrund des Geschlechts – aber er bewertet Faktoren wie „Lücken im Lebenslauf“ negativ, die statistisch häufiger bei Frauen auftreten (wegen Elternzeit). So entsteht indirekte Diskriminierung.
Hier braucht es dringend völlige Transparenz bei KI-Systemen und Algorithmen – und zwar für alle betroffenen Gruppen. Es ist wichtig, Diskriminierung in all ihren Formen zu verhindern. Dafür müssen wir an die Algorithmen ran – und zwar jetzt.
[av_video src=’https://vimeo.com/422364323′ mobile_image=“ attachment=“ attachment_size=“ format=’16-9′ width=’16‘ height=’9′ conditional_play=“ av_uid=’av-7j7zzbd‘]
Zuletzt aktualisiert am 01.03.2026
