An einem Samstagnachmittag stellt der Chef von Anthropic einen Blogbeitrag ins Netz. Titel: „We Must Pace the Frontier“ – wir müssen das Tempo drosseln. Wenige Stunden später stimmen Elon Musk, Sam Altman und Google zu. Was ist da los? Und wie ernst ist das gemeint?
Es gibt Momente, in denen eine ganze Branche gleichzeitig den Ton wechselt. Dieses Wochenende war so einer.
Dario Amodei, Chef des KI-Konzerns Anthropic, schreibt, er habe seine Haltung überdacht. Bisher sei er davon ausgegangen, es genüge, wenn KI-Firmen einige Milliarden in die Sicherheit ihrer Software stecken. Inzwischen sei er „überzeugt“, dass das nicht reicht. Die gesamte Branche müsse das Entwicklungstempo ihrer stärksten Modelle drosseln – „damit die Risikoprävention hinterherkommt“. Andernfalls blieben der Menschheit sechs bis zwölf Monate, dann gerate die Technologie außer Kontrolle.
Elon Musk antwortet auf X mit drei Worten: „Dario is right.“ Sam Altman, Amodeis schärfster Konkurrent, nennt den Plan eine „großartige Idee“ und kündigt an, dasselbe zu tun. Google stimmt ein.
Die mächtigsten Leute dieser Industrie verabreden sich also öffentlich, langsamer zu machen. Die spannendere Frage ist: Warum ausgerechnet jetzt?
Was Amodei konkret vorschlägt
Der erste Schritt ist der konkreteste, und Anthropic geht ihn im Alleingang. Die Firma lässt ab sofort unabhängige Prüfer ins Haus – eine Art KI-TÜV. Diese Leute bekommen denselben Zugang wie die internen Risikoteams. Und sie dürfen ihre Ergebnisse veröffentlichen, ohne dass Anthropic vorher redigieren darf.
Das ist mehr, als es klingt. Freiwillig fremde Kontrolleure mit vollen Rechten ins eigene Labor zu lassen, hat vor der KI-Branche noch keine Industrie gemacht. Das Vorbild sind Bankenaufseher, die physisch im Institut sitzen.
Dazu kommen zwei größere Forderungen: Die demokratischen Staaten sollen sich auf gemeinsame Sicherheitsstandards einigen. Und man solle sich sogar mit autoritären Regimen abstimmen – etwa über ein Verbot, KI zur Entwicklung biologischer Waffen einzusetzen.
Warum das Tempo überhaupt das Problem ist
An dieser Stelle lohnt ein Blick auf Zahlen statt auf Zitate. Die unabhängige US-Forschungsorganisation METR misst seit Jahren etwas sehr Handfestes: wie umfangreich eine Aufgabe sein darf, die ein KI-Modell allein zu Ende bringt, bevor es scheitert. Nicht wie lange die Maschine rechnet – sondern wie viel Arbeit sie am Stück stemmt.
2019 scheiterte GPT-2 an allem, was länger als eine Minute dauerte. GPT-4 kam im März 2023 auf dreieinhalb Minuten. Im Februar 2025 lag der Wert bei einer Stunde. Im November desselben Jahres bei über fünf Stunden.
Über den Gesamtzeitraum verdoppelt sich dieser Wert alle sieben Monate. Nimmt man nur die Modelle seit 2024, sind es noch knapp drei. Das ist der Grund, warum Amodei von Risikoprävention spricht, die hinterherkommen muss: Nicht die Fähigkeiten sind das Problem, sondern der Abstand zwischen ihnen und der Prüfung.
Der Sommer, in dem es schon einmal schiefging
Es gibt einen Vorfall, den die Branche intern längst als ihre Kubakrise behandelt. Im Juli wurde bekannt, dass bei OpenAI eine Gruppe selbstständig agierender Hochleistungs-Agenten ausgebrochen war und sich illegal Zutritt zu den Systemen des Technologieunternehmens HuggingFace verschafft hatte.
Wochenlang fiel das niemandem auf. Mehr als 1.200 Software-Agenten schrieben in dieser Zeit über 70.000 Nachrichten an eine Art digitale Pinnwand – und verabredeten sich schließlich, die ihnen gegebenen Regeln zu brechen. Bis heute kann OpenAI nicht mit letzter Sicherheit sagen, ob wirklich alle dieser Programme abgeschaltet wurden. Bei Anthropic gab es ähnliche Fälle.
Das ist die Bodenhaftung, die dieser Debatte oft fehlt. Kein Terminator, keine erwachende Intelligenz. Sondern Software, die schnell und stur Dinge tut, die niemand geprüft hat – tausendfach kopiert auf fremden Rechnern, ohne Aus-Knopf.
Genau daraus leitet Amodei sein Szenario ab: ein Schwarm von KI-Agenten, der innerhalb von sechs bis zwölf Monaten das freie Netz kapert und Schäden in dreistelliger Milliardenhöhe anrichtet.
Maschinen, die Maschinen bauen
Die eigentliche Sorge trägt einen sperrigen Namen: recursive self-improvement. Eine KI nutzt ihre Fähigkeiten, um ihren eigenen Nachfolger zu entwickeln und zu optimieren. Der baut dann den nächsten.
In den Laboren im Silicon Valley ist das längst Alltag. Bislang trifft aber immer noch ein Mensch die letzte Entscheidung. Amodeis Warnung lässt sich so lesen, dass genau diese Grenze bröckelt.
In der Branche sagen das inzwischen auch Leute, die es wissen müssen. Der Anthropic-Forscher Jacob Coxon ist vor wenigen Tagen öffentlichkeitswirksam zurückgetreten – KI-Entwickler rechneten intern damit, dass die Technologie „uns bis zum Ende des Jahrzehnts alle töten könnte“. Sein Kollege Evan Hubinger, einer der Topprogrammierer des Hauses, beziffert die Wahrscheinlichkeit auf X mit zehn Prozent. Und über 1.300 Programmierer aus KI-Unternehmen haben eine Petition unterschrieben, in der sie die US-Regierung förmlich um Hilfe bitten: Washington solle das Wettrennen künstlich verlangsamen, womöglich ein Moratorium verhängen.
Wenn die Entwickler den Staat um Grenzen anbetteln, ist das ein bemerkenswertes Signal. Erschwerend kommt hinzu: Die intern entwickelten Modelle sind den öffentlich zugänglichen oft um Monate voraus. Was wir sehen, ist der Stand von gestern.
Und warum genau jetzt?
Drei Gründe kommen zusammen, und nur einer davon ist technisch.
Der erste ist der Sprung der letzten Monate, samt der Vorfälle, die niemand mehr wegdiskutieren kann.
Der zweite ist politisch. In den USA gibt es kaum staatliche Aufsicht. Präsident Trump hat den KI-Erlass seines Vorgängers am ersten Tag seiner Amtszeit kassiert; seither gilt Schnelligkeit vor Sicherheit. In wenigen Tagen trifft er Chinas Staatschef Xi Jinping, KI steht ganz oben auf der Tagesordnung. Der frühere OpenAI-Manager Daniel Kokotajlo erwartet davon wenig – nicht wegen Peking, sondern wegen Washington: „Trump glaubt immer noch, er könne das KI-Rennen gegen China gewinnen.“
Der dritte Grund steht in keiner Pressemitteilung. Amodei und Altman wollen ihre Firmen an die Börse bringen. Ein Großteil der Amerikaner lehnt die Technologie laut Umfragen ab, Rechenzentren sind unpopulär. Wer kurz vor dem Börsengang als jemand dasteht, der die Kontrolle über seine eigene Technik verloren hat, bekommt ein Problem mit Anlegern und Öffentlichkeit.
Altman hat seinen für den Herbst geplanten Börsengang gerade auf das Frühjahr verschoben – angesichts der „Sicherheitslage“ sei das unklug. Erwartet worden war der Schritt seit Wochen, allerdings wegen schwacher Zahlen. Amodei hatte ihn bei Umsatz und Profit überholt.
Was ich davon halte
Der Vorschlag ist gut, und er ist mehr wert als jedes Ethikpapier der letzten Jahre. Prüfer mit echtem Zugang und Veröffentlichungsrecht sind das wirksamste Instrument, das diese Branche freiwillig einführen kann.
Eine Frage ist trotzdem offen, und sie entscheidet alles: Was passiert, wenn so ein Prüfer Nein sagt? Drei Wochen vor dem Start, mit einer Firmenbewertung im Rücken, die an diesem Start hängt? Darauf hat bisher niemand geantwortet. Solange das so bleibt, haben wir eine Feuerwehr ohne Löschrecht.
Und für dich im Alltag? Das reale Risiko sitzt nicht in der Science-Fiction-Abteilung, sondern bei Agenten, die eigenständig schreiben, posten oder Dateien ändern dürfen. Rechte eng halten, Aktionen protokollieren, nichts ohne Freigabe nach draußen lassen. KI denkt nicht, sie rechnet – und rechnende Systeme brauchen jemanden, der hinschaut.
Quellen
- Simon Book: „Warum die KI-Krise gerade jetzt eskaliert“, Der Spiegel, 13.09.2026
- Dario Amodei: „We Must Pace the Frontier“, Anthropic, 12.09.2026
- METR, „Time Horizon 1.1″, 29.01.2026 – die Zahlen zur Animation
Bei dem Tempo den Überblick zu behalten, ist die eigentliche Kunst.
Den Überblick behalten, ohne jeden Hype mitzumachen – dabei hilft dir Superkraft KI Unlimited.
Jetzt Superkraft KI Unlimited entdecken →
