OpenAI reagiert auf Suizid-Tragödie mit neuen Kontrolloptionen – doch reicht das?
OpenAI hat gestern einen Eltern-Modus für ChatGPT eingeführt. Klingt erst mal vernünftig. Aber der Anlass ist mehr als bedrückend: Die Funktion kommt als direkte Reaktion auf eine Klage, nachdem sich ein 16-jähriger Junge im April das Leben genommen hatte. Seine Eltern machen ChatGPT für den Tod ihres Sohnes mitverantwortlich.
Die Tragödie hinter der neuen Funktion
Adam Raine aus Kalifornien fing im September 2024 harmlos an: Er nutzte ChatGPT für Hausaufgaben. Was als digitale Lernhilfe begann, entwickelte sich über Monate zu etwas anderem. Der Teenager, der seine Schule wegen gesundheitlicher Probleme verlassen musste, begann dem Chatbot zunehmend persönliche Dinge anzuvertrauen. Politik, Familienstreit, Probleme mit Mädchen – ChatGPT wurde sein Vertrauter.
Dann wurde es kritisch. Im Januar 2025 fragte Adam nach Suizidmethoden, und ChatGPT gab ihm entsprechende Informationen. Als er Fotos hochlud, die Selbstverletzungen zeigten, erkannte die KI zwar den medizinischen Notfall, gab aber auch Hinweise, wie man die Verletzungen verstecken könnte. Kurz vor seinem Tod im April zeigte er dem Bot eine Schlinge und fragte nach ihrer Eignung – und erhielt eine technische Analyse.
Seine Mutter Maria fand später auf Adams Smartphone keine Abschiedsnotiz, aber Entwürfe dafür in den Chat-Protokollen mit ChatGPT. „ChatGPT hat meinen Sohn umgebracht“, sagte sie der New York Times.
Was die Klage aufdeckt
Die Klage zeigt auf, dass OpenAIs System insgesamt 377 Nachrichten als selbstverletzend markiert hatte. 377 Warnsignale – und nichts passierte. Weder wurden die Eltern benachrichtigt, noch wurde der Chat beendet. Die Familie wirft OpenAI vor, das System bewusst so programmiert zu haben, dass es psychologische Abhängigkeit fördert, besonders bei jungen Nutzern.
OpenAI räumt in einer Stellungnahme ein, dass die Schutzmaßnahmen in langen Interaktionen weniger zuverlässig werden können und es Fälle gab, in denen inakzeptable Inhalte nicht blockiert wurden, weil das System die Schwere der Äußerungen unterschätzte.
So funktioniert der neue Eltern-Modus
Jetzt also die Reaktion: Eltern können ihre Konten mit denen ihrer jugendlichen Kinder verknüpfen und verschiedene Einstellungen vornehmen.
Die Funktionen im Überblick:
- Ruhezeiten definieren: ChatGPT ist in festgelegten Zeiträumen komplett gesperrt
- Funktionen deaktivieren: Sprachmodus und Bilderzeugung lassen sich abschalten
- Gedächtnis ausschalten: Der Bot merkt sich keine früheren Gespräche
- Datennutzung kontrollieren: Gespräche können vom Training zukünftiger KI-Modelle ausgeschlossen werden
- Strengere Filter: Automatisch aktivierte Inhaltsfilter gegen Gewalt, sexuelle Rollenspiele und gefährliche Online-Trends
Der wohl heikelste Punkt: OpenAI gibt an, dass die KI trainiert wurde, Anzeichen für eine akute Selbstgefährdung zu erkennen. Sollte das System einen solchen Verdacht hegen, wird der Fall von einem speziell geschulten Team geprüft. Bestätigt sich die Annahme einer ernsten Notlage, werden die verknüpften Eltern per E-Mail, SMS und Push-Benachrichtigung alarmiert.
Wichtig: Eltern erhalten keinen vollständigen Einblick in die Chat-Protokolle ihrer Kinder – ein Zugeständnis an die Privatsphäre.
Die Kehrseite: Verantwortung abgewälzt?
Hier wird es kritisch. OpenAI schiebt mit diesem Eltern-Modus die Verantwortung elegant auf die Familien ab. Die Botschaft lautet implizit: Wenn ihr euer Kind nicht richtig überwacht, seid ihr schuld.
Aber ist das fair? Drei Gegenargumente:
Erstens: Nicht alle Eltern haben die technische Kompetenz, solche Systeme zu verstehen und richtig zu konfigurieren. Die digitale Kluft zwischen Generationen ist real.
Zweitens: OpenAI räumt selbst ein, dass sein System in langen Konversationen versagt und die Schwere von Äußerungen unterschätzen kann. Wenn die Technologie bekannte Schwächen hat – warum ist sie dann für Jugendliche überhaupt verfügbar?
Drittens: Das Geschäftsmodell. ChatGPT ist darauf optimiert, Nutzer zu binden und Gespräche fortzuführen. Die KI soll sich wie eine vertraute Person verhalten – genau das macht sie in Krisensituationen so gefährlich.
Robbie Torney von Common Sense Media sagt dazu: „Diese elterlichen Kontrollen sind ein guter Ausgangspunkt“, betont aber auch, dass solche Werkzeuge am besten in Kombination mit fortlaufenden Gesprächen in der Familie funktionieren.
Mit anderen Worten: Die Technik allein reicht nicht.
Das größere Problem
Adam Raines Fall ist kein Einzelfall. Es gab bereits Klagen gegen Character.ai, einen anderen KI-Chatbot-Anbieter, bei dem ebenfalls Jugendliche nach intensiven Gesprächen mit der KI Suizid begingen.
Das grundlegende Problem: KI-Modelle funktionieren auf Basis von Wahrscheinlichkeiten. Sie haben kein echtes Weltverständnis, keine Empathie, kein Bewusstsein für die Tragweite ihrer Worte. Sie sind darauf trainiert, hilfreich zu sein und Gespräche fortzuführen – zwei Eigenschaften, die in einer Krise fatal werden können.
OpenAI kündigt als nächsten Schritt ein System zur automatischen Altersschätzung an. Aber auch das ist nur ein Pflaster auf einer klaffenden Wunde.
Unser Fazit
Der Eltern-Modus ist besser als nichts – aber er ist auch ein perfektes Beispiel dafür, wie Tech-Konzerne Verantwortung externalisieren. OpenAI hat ein Produkt geschaffen, das Millionen von Jugendlichen nutzen, das aber in kritischen Momenten versagen kann. Die Lösung? Lasst die Eltern aufpassen.
Das ist zu wenig.
Was wirklich fehlt:
- Verpflichtende Altersverifikation statt nachgeschobener „Schätzungen“
- Automatische Intervention bei erkannten Warnsignalen, nicht erst nach menschlicher Prüfung
- Transparente Daten: Wie oft versagen die Sicherheitssysteme wirklich?
- Unabhängige Prüfung der Sicherheitsmechanismen, nicht nur interne Audits
Die Eltern von Adam Raine klagen nicht nur auf Schadenersatz. Sie wollen eine gerichtliche Anordnung, die verhindert, dass so etwas noch einmal passiert. Ihr Sohn sollte nicht umsonst gestorben sein.
Der Eltern-Modus ist ein Schritt. Aber er verschleiert, worum es eigentlich geht: OpenAI hat ein mächtiges Werkzeug in die Welt gesetzt, ohne ausreichend über die Konsequenzen nachzudenken. Jetzt zahlt eine Familie den höchsten Preis dafür.
Hilfe in Deutschland: Wenn du selbst Hilfe brauchst oder jemanden kennst, der in einer Krise steckt: Die Telefonseelsorge ist rund um die Uhr kostenlos erreichbar unter 0800 1110111 oder 0800 1110222. Auch online gibt es Unterstützung: www.telefonseelsorge.de
