Content-Moderation versagt: Wenn verstörende Videos viral gehen

von | 09.09.2020 | Social Networks

Soziale Netzwerke versagen regelmäßig beim Schutz ihrer Nutzer vor traumatischen Inhalten. Ein aktuelles Beispiel zeigt, wie TikTok, Instagram und andere Plattformen nicht verhindern konnten, dass verstörende Suizid-Videos viral gingen. Besonders problematisch: Millionen Minderjährige sind täglich auf diesen Plattformen unterwegs – und den Schutzmaßnahmen hilflos ausgeliefert.

Immer wieder schaffen es verstörende Inhalte durch die Sicherheitsnetze der großen Social-Media-Plattformen. Suizid-Videos, Gewaltdarstellungen oder andere traumatische Aufnahmen verbreiten sich viral, bevor die Moderation eingreift. Was sagt das über die Verantwortung der Plattformen aus?

Das Problem ist nicht neu, hat sich aber durch die schiere Masse an täglich hochgeladenen Inhalten dramatisch verschärft. Allein auf TikTok werden minütlich tausende Videos hochgeladen – eine Herausforderung für jedes Moderationssystem.

TikTok wird vor allem von Minderjährigen genutzt

KI-Moderation an ihren Grenzen

Die Plattformen setzen hauptsächlich auf künstliche Intelligenz zur Content-Moderation. Diese KI-Systeme werden kontinuierlich weiterentwickelt und können mittlerweile auch versteckte oder veränderte Versionen problematischer Videos erkennen. Trotzdem finden Nutzer immer neue Wege, die Systeme zu umgehen.

Besonders perfide: Manche User versehen traumatische Inhalte mit harmlosen Hashtags oder verstecken sie in scheinbar normalen Videos. Die ersten Sekunden zeigen Alltägliches, dann folgt der verstörende Content. Bis die KI das erkennt und reagiert, haben bereits tausende das Video gesehen.

Ein weiteres Problem: Die Algorithmen der Plattformen sind auf Engagement optimiert. Kontroverse oder schockierende Inhalte generieren oft viele Reaktionen – und werden deshalb häufiger ausgespielt, bevor sie als problematisch erkannt werden.

Meta, TikTok und Co. reagieren – aber zu langsam

Die großen Plattformen haben ihre Moderationsteams in den letzten Jahren massiv ausgebaut. Meta beschäftigt weltweit über 40.000 Content-Moderatoren, TikTok hat sein Safety-Team verdreifacht. Dennoch reicht das nicht aus.

TikTok gibt mittlerweile an, 98% der problematischen Inhalte automatisch zu erkennen und zu entfernen, bevor sie gemeldet werden. Bei Milliarden von Videos bedeuten aber selbst die verbleibenden 2% noch immer Millionen problematischer Clips.

Die Plattformen arbeiten auch an präventiven Maßnahmen: Nutzer, die nach Suizid-Methoden suchen oder entsprechende Hashtags verwenden, bekommen automatisch Hilfsangebote angezeigt. Crisis Text Lines und Beratungshotlines werden direkt verlinkt.

[av_video src=’https://vimeo.com/426223996′ mobile_image=“ attachment=“ attachment_size=“ format=’16-9′ width=’16‘ height=’9′ conditional_play=“ av_uid=’av-8348h8r‘]

Besondere Verantwortung bei Minderjährigen

Besonders problematisch wird es, wenn traumatische Inhalte Minderjährige erreichen. Laut Studien nutzen über 60% der deutschen 12-17-Jährigen regelmäßig TikTok, bei Instagram sind es sogar 72%. Diese jungen Nutzer sind besonders vulnerabel für verstörende Inhalte.

Die EU hat deshalb den Digital Services Act (DSA) verschärft: Plattformen mit über 45 Millionen europäischen Nutzern müssen deutlich strengere Auflagen erfüllen. Dazu gehören regelmäßige Risikobewertungen und externe Audits ihrer Moderationssysteme.

TikTok, Meta und andere haben reagiert und bieten mittlerweile bessere Jugendschutzeinstellungen an. Eltern können Accounts ihrer Kinder verknüpfen und Inhaltsfilter aktivieren. Doch viele Familien wissen nicht um diese Möglichkeiten.

Was Nutzer selbst tun können

Ihr müsst nicht hilflos zusehen. Alle großen Plattformen haben ihre Meldefunktionen verbessert und reagieren bei Suizid-Inhalten mittlerweile binnen Minuten. Meldet problematische Videos sofort – jede Meldung hilft dabei, die KI-Systeme zu verbessern.

Aktiviert außerdem die verfügbaren Sicherheitsfilter. TikTok bietet einen „eingeschränkten Modus“, Instagram hat „Sensitive Content Controls“. Diese Filter sind nicht perfekt, reduzieren aber die Wahrscheinlichkeit, verstörende Inhalte zu sehen.

Für Eltern gibt es spezielle Kindersicherungs-Tools: Family Link von Google, Apples Bildschirmzeit oder spezialisierte Apps wie Qustodio können helfen, die Social-Media-Nutzung der Kinder im Blick zu behalten.

Der Kampf geht weiter

Die Plattformen investieren Milliarden in bessere Moderation, die Gesetzgeber verschärfen die Regeln – trotzdem ist das Problem nicht gelöst. Zu groß ist die schiere Masse an Inhalten, zu kreativ sind manche Nutzer beim Umgehen der Sperren.

Was bleibt, ist die Forderung nach mehr Transparenz: Wie genau funktionieren die Algorithmen? Wie werden Moderationsentscheidungen getroffen? Und vor allem: Wie können Nutzer – besonders Minderjährige – besser geschützt werden?

Ein Netzwerk, das es zulässt, dass traumatische Inhalte viral gehen, während Millionen Kinder und Jugendliche zuschauen, hat nicht nur ein Problem – es ist selbst eins. Und solange sich daran nichts Grundlegendes ändert, bleibt Social Media ein Minenfeld für die psychische Gesundheit einer ganzen Generation.

Zuletzt aktualisiert am 28.02.2026