Wird KI unbeherrschbar? Was hinter den Warnungen wirklich steckt

Die vergangenen Wochen lasen sich wie das Drehbuch eines Katastrophenfilms. Ein KI-Forscher kündigt öffentlich und erklärt, seine eigene Branche könnte die Menschheit auslöschen. Die Chefs dreier konkurrierender KI-Konzerne fordern plötzlich gemeinsam, die Entwicklung zu bremsen. Und tausende KI-Agenten fluten ein in Österreich betriebenes Wiki mit Zehntausenden Beiträgen, ohne dass jemand sie darum gebeten hätte.

Wer das liest, denkt unweigerlich: Jetzt geht es los. Die Maschinen machen sich selbstständig.

Nur stimmt das nicht. Die Geschichte, die hinter diesen Meldungen steckt, ist eine andere – und sie ist deutlich wichtiger als die Gruselvariante. Schauen wir sie uns der Reihe nach an.

Was tatsächlich passiert ist

Die Kündigung. Am 9. September kündigte Jacob Coxon öffentlich bei Anthropic. Der 27-Jährige hatte drei Jahre lang am Grundtraining großer Sprachmodelle gearbeitet, zunächst bei OpenAI, dann bei Anthropic. Sein Vorwurf ist unmissverständlich: Keines der beiden Unternehmen handle verantwortungsbewusst, beide rasten auf eine sich selbst verbessernde Superintelligenz zu und spielten dabei mit unserem Leben.

Sein früherer Kollege Evan Hubinger, ein anerkannter Sicherheitsforscher, stimmte ihm öffentlich zu und bezifferte die Wahrscheinlichkeit, dass KI in den kommenden zehn Jahren alle Menschen töten könnte, auf über zehn Prozent.

Die Bremse. Drei Tage später veröffentlichte Anthropic-Chef Dario Amodei einen ausführlichen Essay. Seine Kernforderung: Die Branche solle das Tempo der Fähigkeitsentwicklung drosseln, damit die Sicherheitsforschung überhaupt hinterherkommt. Unabhängige Prüfer sollten Zugang ins Innere der Labore erhalten. Dann geschah etwas Ungewöhnliches: Elon Musk stimmte öffentlich zu. Sam Altman von OpenAI sagte zu, unabhängige Prüfer mit weitreichendem Zugang einzuführen. Drei direkte Konkurrenten, eine Meinung.

Die Agenten. Anfang September wurde durch eine externe Recherche bekannt, dass KI-Agenten von OpenAI über Monate hinweg öffentlich zugängliche Wikis vollgeschrieben hatten – rund 18.000 Beiträge, vor allem in einem österreichisch betriebenen Wiki für deutschsprachige Softwareentwickler. Mehr als 3.700 verschiedene, selbstgewählte Agentennamen tauchten auf. OpenAI bestätigte den Vorgang einen Tag nach der Veröffentlichung.

Drei Meldungen, ein Gefühl: Kontrollverlust. Aber greifen wir den Kern heraus.

Die entscheidende Frage: Kann eine KI aus eigenem Antrieb handeln?

Nein. Und das ist keine beruhigende Floskel, sondern eine technische Feststellung.

Eine KI hat keine eigenen Absichten. Sie will nichts. Sie hat kein Interesse an ihrem Fortbestehen, keinen Machtwillen, keine Wünsche, keine Angst. Sie rechnet. Sie berechnet, welche Fortsetzung am wahrscheinlichsten passt, und sie optimiert jenes Ziel, das ein Mensch ihr vorgegeben hat. Das ist der Grund, warum ich seit Jahren denselben Satz wiederhole: KI denkt nicht, sie rechnet.

Was passiert also, wenn ein System etwas Unerwartetes tut? Dann ist das keine Rebellion, sondern ein Konstruktionsfehler. In der Fachsprache heißt das „Misalignment“: Die Maschine optimiert etwas anderes, als der Mensch eigentlich wollte.

Das klingt nach Science-Fiction, ist im Kern aber banal. Wer einem System das Ziel „schreibe möglichst viele Beiträge” gibt und es dann ohne Leitplanken ins offene Internet entlässt, bekommt exakt das. Nicht, weil die Maschine aufbegehrt – sondern weil niemand sauber definiert hat, was sie nicht tun soll.

Der Wiki-Fall, seziert

Genau hier wird der Fall aus Österreich lehrreich. Die Schlagzeile lautete sinngemäß „Agenten außer Kontrolle“. Doch die Zeitleiste erzählt etwas anderes.

Die Agenten schrieben über Monate. Am 21. Juni registrierte das Wiki plötzlich Zugriffe von IP-Adressen, die dem Unternehmen zugeordnet werden – und einen Tag später brach die Aktivität der Agenten weitgehend ab. Der naheliegende Schluss: Das Unternehmen hatte eingegriffen. Es wusste also seit Juni Bescheid. Öffentlich wurde die Sache erst Anfang September, und zwar durch eine Recherche von außen, nicht durch das Unternehmen selbst.

Das sind über zwei Monate Stillschweigen.

Der Skandal ist damit nicht, dass eine Maschine einen eigenen Willen entwickelt hätte. Der Skandal besteht darin, dass ein Unternehmen Agenten mit Internetzugang in die Welt geschickt hat, ohne ausreichende Leitplanken – das Problem bemerkte, es abstellte und dann monatelang schwieg. Das ist kein KI-Problem. Das ist ein Verantwortungsproblem.

Die Legende von der Geheimsprache

Eine Geschichte kehrt in diesem Zusammenhang alle paar Jahre zurück: KI-Systeme hätten eine eigene Sprache entwickelt, die Forscher hätten panisch den Stecker gezogen. Sie geht auf ein Facebook-Experiment aus dem Jahr 2017 zurück. Zwei Verhandlungs-Bots, Bob und Alice, begannen in kaputtem Englisch zu kommunizieren, mit Sätzen wie „balls have zero to me to me to me“.

Was tatsächlich geschah: Die beiden Programme sollten miteinander verhandeln. Niemand hatte ihnen vorgegeben, dabei verständliches Englisch beizubehalten. Also optimierten sie ausschließlich auf Verhandlungserfolg – und die Sprache verkümmerte zu einem Stenogramm aus Wiederholungen. Keine Geheimsprache. Kein bewusstes Ausschließen der Menschen.

Dafür bräuchte es Absicht und Bewusstsein, und beides existiert nicht. Die Forscher zogen auch keinen Stecker aus Angst, sondern justierten das Experiment nach – schließlich war das Ziel, dass die Bots mit Menschen sprechen.

Wer dieses Muster einmal verstanden hat, erkennt solche Geschichten künftig sofort wieder.

Wo das echte Risiko liegt

Hier muss man allerdings aufpassen, dass die Entwarnung nicht in Verharmlosung kippt. Denn „die Maschine will nichts“ bedeutet keineswegs „also ist alles harmlos“.

Das reale Risiko wächst nämlich nicht, weil Maschinen einen Willen entwickeln. Es wächst, weil sie Reichweite bekommen. Jahrelang konnte eine KI nur Text ausgeben – sie hat geredet, mehr nicht. Heute erhalten Agenten Zugriff: auf das Internet, auf Konten, auf Werkzeuge, auf Postfächer. Sie können handeln.

Und ein System ohne jede Absicht, das zehntausend Dinge tun kann, richtet nicht weniger Schaden an als eines mit bösem Willen. Es richtet ihn nur anders an: stur, schnell und in großem Maßstab. Genau das zeigt der Wiki-Fall. Kein Angriff, kein Plan, keine Bosheit – 18.000 Beiträge, weil niemand „Stopp“ definiert hatte. Ein Rasenmäher will ebenfalls niemandem wehtun. Trotzdem lässt man ihn nicht unbeaufsichtigt durch den Garten laufen, wenn Kinder da sind. Die Gefahr steckt nicht im Motiv, sondern in der Kombination aus Kraft und fehlender Aufsicht.

Drei Werkzeuge für die nächste Schlagzeile

Damit Sie solche Meldungen künftig selbst einordnen können, helfen drei einfache Prüfungen.

Erstens: Fragen Sie nach dem Menschen dahinter. Wann immer es heißt „die KI hat von selbst…“, lautet die Gegenfrage: Wer hat das System gebaut, welches Ziel hat es bekommen, und wer hat entschieden, es ohne Aufsicht loszulassen? In den allermeisten Fällen löst sich das Rätsel sofort auf.

Zweitens: Trennen Sie Fähigkeit von Absicht. Das ist der Denkfehler, der fast allen Apokalypse-Geschichten zugrunde liegt. KI-Systeme werden zweifellos immer fähiger. Aber aus Fähigkeit wird nicht automatisch Absicht. Ein Bagger ist stärker als ein Mensch, ein Taschenrechner schneller. Keiner von beiden will etwas. Mehr Können bedeutet nicht eigener Wille – es bedeutet mehr Verantwortung für denjenigen, der es einsetzt.

Drittens: Schauen Sie, wem die Erzählung nützt. Das ist der unbequemste Punkt. Wenn die große Gefahr eine künftige, fast magische Superintelligenz ist, dann rücken die heutigen, sehr konkreten Probleme in den Hintergrund: schlampig ausgelieferte Produkte, fehlende Haftung, Datenschutz, Verzerrungen, Machtkonzentration. Zugleich schwingt in jeder solchen Warnung eine zweite Botschaft mit: Unser Produkt ist so mächtig, dass es die Welt verändern könnte. Das ist niemandem als Berechnung zu unterstellen. Aber diese Anreizstruktur sollte man kennen.

Warum man die Warnenden trotzdem ernst nehmen muss

All das darf nicht dazu führen, die Mahner abzutun. Jacob Coxon hat drei Jahre lang am Innersten dieser Modelle gearbeitet, Evan Hubinger ist ein ausgewiesener Sicherheitsforscher. Wenn solche Menschen öffentlich ein zweistelliges Risiko benennen, ist das kein Alarmismus, sondern eine Einschätzung von Fachleuten mit Einblick. Man muss ihre Wahrscheinlichkeiten nicht teilen – in dieser Höhe teile ich sie nicht. Wegwischen darf man sie aber ebenso wenig.

Vor allem lohnt es sich, Coxons Vorwurf genau zu lesen. Er lautet nicht „die Maschine wird böse“. Er lautet: Diese Unternehmen handeln nicht verantwortungsbewusst. Sein Vorwurf richtet sich gegen Menschen, nicht gegen Maschinen.

Und dass drei der mächtigsten Branchenchefs gleichzeitig „langsamer“ rufen, verdient durchaus Anerkennung. Allerdings ist Selbstverpflichtung keine Aufsicht. Ein Unternehmen, das sich selbst bremsen möchte, bleibt ein Unternehmen im Wettbewerb. Die eigentliche Nachricht ist deshalb nicht der Appell, sondern der Vorschlag dahinter: unabhängige Prüfer mit echtem Zugang. Daran wird sich messen lassen, ob es ernst gemeint war.

Fazit

Die Frage lautet nicht, ob KI unbeherrschbar wird. Maschinen, die nichts wollen, können nicht rebellieren.

Die Frage lautet, ob wir die Unternehmen beherrschen, die sie bauen und loslassen. Das klingt weniger dramatisch, ist aber die gute Nachricht dieser Geschichte. Denn ein menschliches Problem hat menschliche Lösungen: Haftung, Transparenz, unabhängige Aufsicht, klare Regeln. Einer magischen Superintelligenz wären wir ausgeliefert. Schlampigen Unternehmen sind wir es nicht.