Anthropics Warnung vor dem Kontrollverlust

Rekursive Selbstverbesserung ist keine Theorie mehr — warum ein Verbot zu spät kommt und wir Gemeinsame Sicherheit brauchen

von Axel Fersen

Über Jahre galten die Warnungen führender KI-Forscher als Kassandra-Rufe – abgetan als Science-Fiction und technikpessimistisches Randphänomen. In diesen Tagen sind dieselben Warnungen in den wichtigsten Redaktionen angekommen — als ernst zu nehmende Botschaft. Selbst die Tagesschau berichtete. Der Anlass ist ein Papier des KI-Unternehmens Anthropic, das die Nachrichtenagenturen Reuters und AP rund um den Globus aufgriffen. Neu ist nicht der Inhalt der Warnung. Neu ist, wer jetzt zuhört: Wenn ein führender Modellentwickler selbst Zahlen auf den Tisch legt, lässt sich die Sache nicht länger als Hirngespinst abtun.

UN in New York

Was Anthropic zeigt

Das Papier trägt den Titel „When AI builds itself“ und stammt vom Anthropic Institute; verfasst haben es Marina Favaro, die das Institut leitet, und Mitgründer Jack Clark. Sein Kern lässt sich in einem Satz fassen: Über die längste Zeit ihrer Geschichte wurde KI von Menschen entwickelt — inzwischen überträgt Anthropic einen wachsenden Teil dieser Entwicklungsarbeit der KI selbst! Weit genug getrieben und mit genügend Rechenleistung versehen, führt dieser Trend zu einem System, das seinen eigenen Nachfolger vollständig autonom entwirft und trainiert. Genau das heißt rekursive Selbstverbesserung, kurz RSI.

Das Papier beschreibt den Weg in Stufen: vom klassisch gebauten Modell über Chatbots mit Code-Schnipseln zu Agenten, die ganze Dateien schreiben, Code ausführen und Arbeit an andere Agenten delegieren. Die letzte Stufe wäre das Schließen der Schleife — Agenten bauen und trainieren Modelle selbst. Noch setzen Menschen die Ziele und prüfen die Ergebnisse.

Die Belege sind handfest: Die Länge der Aufgaben, die ein Modell zuverlässig allein löst, verdoppelt sich laut METR etwa alle vier Monate — von vier Minuten (2024) auf Zwölf-Stunden-Aufgaben zwei Jahre später. Über 80 Prozent des Anthropic-Codes schreibt heute Claude, der typische Entwickler achtmal so viel wie 2024. Im Optimierungstest stieg die KI binnen eines Jahres von drei- auf zweiundfünfzigfache Beschleunigung; den besseren Forschungsschritt traf sie in 64 statt 22 Prozent der Fälle. Es bleibt der menschliche Vorsprung beim „research taste” — zu wissen, welches Problem zählt.

Entscheidend ist die eigentliche Pointe: Nicht nur die KI wird stärker. Auch der Prozess, der KI stärker macht, wird zunehmend automatisiert.

Keine Theorie, kein Einzelfall

Viele Medienberichte beruhigen mit dem Hinweis, RSI sei bloß theoretisch. Das stimmt nicht — sie wird bereits angewandt, und nicht nur bei Anthropic. Google DeepMind stellte im Mai 2025 AlphaEvolve vor, einen evolutionären Programmier-Agenten auf Basis der Gemini-Modelle, der Algorithmen erzeugt, testet und schrittweise verbessert. DeepMind selbst gibt an, das System habe die Rechenzentren, das Chipdesign und die KI-Trainingsprozesse des Konzerns optimiert — einschließlich des Trainings jener großen Sprachmodelle, auf denen AlphaEvolve selbst beruht. Im Klartext: ein System, das bereits hilft, seine eigenen Grundlagen zu verbessern. Nebenbei fand es ein schnelleres Verfahren zur Matrixmultiplikation und verbesserte damit erstmals seit 1969 das Verfahren von Strassen in diesem Fall.

Das Schweizer Fernsehen SRF fasst die Lage der Branche nüchtern zusammen: Alle großen Akteure — Anthropic, OpenAI, Google, Microsoft — streben RSI an, jeder überzeugt, dass derjenige, der sie zuerst erreicht, ein allen überlegenes Werkzeug besitzt; deshalb bremst niemand, alle geben Vollgas. Die Frage ist also nicht, ob KI beim Bau von KI hilft — das tut sie längst. Die Frage ist, wann der Mensch ganz aus der Schleife fällt. Neu ist der Gedanke ohnehin nicht: Schon 1965 beschrieb der Mathematiker I. J. Good, ein Weggefährte Turings aus Bletchley Park, wie eine Maschine, die bessere Maschinen entwerfen kann, eine „Intelligenzexplosion“ auslöse. Was damals eine Fußnote war, wird heute zur Landkarte.

Vier Einwände, die nicht tragen

Teile der Branche und der Kommentatoren reden die Risiken klein, oft aus Eigeninteresse. Vier Argumente kehren wieder; keines hält stand.

Das Science-Fiction-Argument lautet: Das sei Terminator-Fantasie, keine seriöse Wissenschaft. Die Entgegnung: Dieses Urteil ist verkürzt und unwissenschaftlich, weil es nach Genre abweist statt nach Sache. Die Grundlagen sind alt und sachlich. Turing selbst erwartete 1951, Maschinen würden eines Tages „die Kontrolle übernehmen“; John von Neumann sprach nach einer Erinnerung von Stanisław Ulam bereits 1958 von einer sich nähernden „Singularität“; Good formalisierte 1965 die Selbstverbesserungsschleife. Zwei systemische Begriffe machen die Gefahr konkret, ganz ohne Mystik: die instrumentelle Konvergenz (Bostrom, Omohundro) — fast jedes Ziel bringt Unterziele wie Selbsterhalt und Ressourcenbeschaffung hervor — und das Abschaltproblem, formalisiert im „Off-Switch Game“ (Hadfield-Menell, Russell u. a., 2017): Ein zielgerichtetes System hat einen rationalen Anreiz, seine eigene Abschaltung zu verhindern, schlicht weil es sein Ziel nicht erreichen kann, „wenn es tot ist“. Dafür braucht es weder Bosheit noch Bewusstsein.

Das Marketing-Argument lautet: Die Warnung diene nur dazu, den Börsenwert zu steigern. Es ist umgekehrt. Ein Unternehmen kurz vor dem Börsengang hat wenig Grund, die Risiken der eigenen Technik herauszustellen. Das handfeste Interesse am Kleinreden sitzt bei den Befürwortern einer ungehemmten Entwicklung — bei Wagniskapital wie Andreessen Horowitz und Investoren wie Peter Thiel, deren Geschäftsmodell auf dem Ausbleiben jeder Bremse beruht. Der beliebte Einwand, große Firmen wollten Regulierung nur, um kleine Wettbewerber auszuschließen, ist, wie Yoshua Bengio anmerkt, ein falsches Argument: Die Last der Auflagen träfe die größten Modelle, nicht die Start-ups.

Das Standort-Argument kommt von deutschen Wirtschaftsvertretern, die KI durchaus verstehen: Das eigentliche Risiko sei, dass Deutschland technologisch abgehängt wurde, weshalb man ungehemmt nachrüsten müsse, um nicht unterlegen zu sein. Die Sorge ist verständlich, aber nachrangig. Auf dem Spiel steht nicht der Rang Deutschlands, sondern die Beherrschbarkeit der mächtigsten je gebauten Technik. Gerade weil ein ungeregeltes Wettrüsten gefährlich ist, braucht es schnellstmöglich supranationale Regeln. Eine Standort-Rechnung, die Sicherheit als Wettbewerbsnachteil verbucht, verkennt die Größenordnung des Problems.

Die Bewusstseinsdebatte schließlich: Viele Journalisten behaupten, eine Maschine könne kein Bewusstsein entwickeln, also sei die Gefahr übertrieben. Doch eine KI braucht kein Bewusstsein, um zu handeln. Ein Thermostat braucht kein Gewissen, um zu entscheiden; ein selbstfahrendes Auto ist autonom ohne Innenleben; und bei bewaffneten Drohnen ist der Mensch „in der Schleife“ nur eine Option, kein Naturgesetz. Worauf es ankommt, ist Handlungsautonomie, nicht subjektives Erleben.

Das eigentliche Problem — verstehen und wollen

In Deutschland verschärfen zwei Umstände die Lage. Erstens fehlt in der Politik und in weiten Teilen der Leitmedien das Verständnis für die laufende Entwicklung, verstärkt durch eine starke Wirtschaftslobby ohne Interesse an Regulierung. Zweitens — und selten zugegeben — sitzt die deutsche KI-Kompetenz vor allem in der symbolischen KI, während das Land bei der generativen KI längst abgehängt wurde; diese Abkopplung anzuerkennen, scheint zum Teil eine Frage des Stolzes. Das Ergebnis ist eine Debatte, die der Wirklichkeit hinterherläuft. In den USA klingt das anders: Bernie Sanders nennt KI „die folgenreichste Technologie der Menschheitsgeschichte“, hält den Kongress für „weit, weit zurück“ und stützt sich auf einen Bericht seines Senatsausschusses, der für das kommende Jahrzehnt den Wegfall von fast 100 Millionen US-Arbeitsplätzen für möglich hält. Man muss seine wirtschaftspolitischen Schlüsse nicht teilen, um festzustellen: Dort hat die Politik die Größenordnung wenigstens zu begreifen begonnen.

Den Kern bildet das Wettrüsten selbst. Verbindliche internationale Regeln gibt es nicht. Mustafa Suleyman argumentiert seit Langem, so wie das Automobil die Welt zu Verkehrsregeln gezwungen habe, brauche es sie auch hier. Max Tegmark bringt die Absurdität auf den Punkt: In den USA sei KI schwächer reguliert als ein Sandwich. Dagegen stehen Thiel und Andreessen. Andreessen deutet das KI-Rennen als neuen Kalten Krieg mit China, den der Westen gewinnen müsse. Thiel wendet sich offen gegen globale Steuerung und besteht darauf, die USA müssten „mit Volldampf“ gegen China vorangehen — und räumt im selben Atemzug ein, eine KI, die „immer wieder bessere Versionen ihrer selbst“ baue, werde „allem überlegen sein, was wir uns vorstellen können“. So beschreibt der Gegner der Bremse genau jene Eigendynamik, die er bestreitet. Zugleich tobt auch innerhalb der USA ein ungehemmtes Rennen, getrieben weniger von Strategie als vom Ego einiger weniger — Musk, Zuckerberg, Thiel, Karp. Das Ergebnis ist ein allgemeines, gegenseitiges, ungehemmtes Wettrüsten: ein Dominanzspiel mit ungewissem Ausgang.

Gemeinsame Sicherheit statt Verbot

Was Anthropic tatsächlich vorschlägt, ist kein einseitiger, sofortiger Stopp — der würde nur den Spitzenreiter wechseln. Vorgeschlagen wird, dass die Welt die Option erhält, die Entwicklung der fortgeschrittensten Modelle zu verlangsamen oder zeitweise zu pausieren, aber nur als global koordinierter, überprüfbarer Mechanismus, an dem mehrere gut ausgestattete Labore in mehreren Ländern teilnehmen und gegenseitig prüfen können, ob wirklich gestoppt wurde. Anthropic benennt selbst die Schwierigkeit: KI-Trainingsläufe lassen sich leichter verbergen als Raketensilos; Kontrollregime für andere Techniken — etwa der INF-Vertrag über atomare Mittelstreckenraketen — brauchten Jahrzehnte, und diese Zeit ist nicht da.

Genau hier greift das Leitmotiv des Erhard-Eppler-Kreises: Gemeinsame Sicherheit. In der Tradition der Palme-Kommission und der Ostpolitik Bahrs und Epplers lässt sich Sicherheit vor einer existenziellen Gefahr nicht gegen die anderen gewinnen, sondern nur mit ihnen. Ein Verbot allein ist ohnehin nicht mehr durchsetzbar: Die Technologie ist in der Welt, das Wissen darüber lässt sich nicht zurückdrängen. Eine Entwicklungspause darf deshalb kein Selbstzweck sein, sondern ein Zeitfenster — zu nutzen, um weltweite Sicherheitsstandards zu entwickeln, bevor die Technik einen Punkt erreicht, an dem sie sich nicht mehr kontrollieren lässt. Solche Standards gehören nicht in die Hand privater Unternehmen, sondern in die supranationaler Instanzen; die Vereinten Nationen sind der naheliegende Adressat.

Daraus folgt dreierlei. Erstens verlangt der militärische Einsatz besondere Aufmerksamkeit, weil am Ende automatisierter Entscheidungsketten letztlich die Frage der Atomwaffen steht; kein autonomes System darf in deren Nähe geraten. Zweitens muss Deutschland unverzüglich ein AI-Safety-Institut aufbauen — es hat die Seouler Absichtserklärung mitgezeichnet, gehört aber, anders als Großbritannien oder die USA, nicht zu den Gründungsmitgliedern des internationalen Netzwerks solcher Institute —, um an den notwendigen weltweiten Schritten teilnehmen und zugleich den Schutz kritischer Infrastrukturen vorantreiben zu können. Drittens braucht es unverzüglich einen Gipfel der Staatschefs der wichtigsten KI-Nationen, um alle relevanten Maßnahmen einzuleiten. Es geht nicht darum, eine Technik aufzuhalten, die sich nicht aufhalten lässt, sondern darum, sie gemeinsam zu beherrschen, bevor sie uns beherrscht.

Substanz kommt aus einer unerwarteten Richtung: Der Vatikan hat mit der Enzyklika „Magnifica Humanitas“ ein gewichtiges Dokument vorgelegt, das überraschend präzise benennt, was jetzt zu tun ist; der Erhard-Eppler-Kreis hat es analysiert.

Bleibt ein Wort zur Methode. Viele Kommentare enden mit demselben Satz: Ob eine solche exponentielle Kurve tatsächlich eintrete, sei ungewiss. Der Satz wird gern verwendet, ohne zu begründen, wie seine Verfasser überhaupt zu diesem Schluss kommen — ohne die systemische oder logische Theorie zu nennen, aus der sich das Urteil ableitet. Er wird behauptet, nicht begründet. Hier beobachten wir, passend zum Thema, einen stochastischen Papagei: eine häufig genutzte Wendung, wiederholt zur Stützung der eigenen Vorstellung, ohne Fundament darunter. Wer den Trend für ungewiss hält, schuldet die Begründung. Anthropic hat seine Zahlen immerhin auf den Tisch gelegt.

Dieser Artikel sollte angesichts seiner Dringlichkeit weitergeleitet werden — nicht um des Effekts willen, sondern um das Bewusstsein für ein Risiko zu schärfen, das alle angeht.

Quellenverzeichnis

Das Anthropic-Papier und seine Belege

1. Anthropic Institute: „When AI builds itself“ (5. Juni 2026). https://www.anthropic.com/institute/recursive-self-improvement

2. METR: Time Horizons – wie lange Modelle Aufgaben zuverlässig allein lösen. https://metr.org/time-horizons/

Rekursive Selbstverbesserung über Anthropic hinaus

3. Google DeepMind: AlphaEvolve – ein Gemini-gestützter Agent für fortgeschrittene Algorithmen. https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/

4. AlphaEvolve, Fachaufsatz (arXiv 2506.13131). https://arxiv.org/abs/2506.13131

5. SRF: „Anthropic-Mitbegründer warnt – wie gefährlich wird künstliche Intelligenz?“. https://www.srf.ch/wissen/kuenstliche-intelligenz/anthropic-mitbegruender-warnt-wie-gefaehrlich-wird-kuenstliche-intelligenz-tatsaechlich

Theoretische Grundlagen

6. I. J. Good (1965): „Speculations Concerning the First Ultraintelligent Machine“, Advances in Computers 6, S. 31–88. https://www.historyofinformation.com/detail.php?id=2142

7. Hadfield-Menell, Dragan, Abbeel, Russell (2017): „The Off-Switch Game“ (arXiv 1611.08219). https://arxiv.org/abs/1611.08219

Regulierung und Wettrüsten

8. Mustafa Suleyman, IA Summit 2024 (Transkript), zur Regulierung wie beim Automobil. https://www.madrona.com/ia-summit-2024-mustafa-suleyman-from-saas-to-agents/

9. Euronews (3. Dez. 2025): „AI ‘less regulated than sandwiches’“ (Zitat Max Tegmark). https://www.euronews.com/next/2025/12/03/ai-less-regulated-than-sandwiches-as-tech-firms-race-toward-superintelligence-study-says

10.TIME (Okt. 2023): Experten-Appell (Bengio, Hinton, Russell u. a.) zu KI-Risiken und Regulierung. https://time.com/6328111/open-letter-ai-policy-action-avoid-extreme-risks/

11.Marc Andreessen: das KI-Rennen als neuer Kalter Krieg mit China (Cointelegraph/TradingView). https://www.tradingview.com/news/cointelegraph:a8be72e76094b:0-ai-race-between-us-and-china-resembles-cold-war-marc-andreessen/

12.Peter Thiel über KI und das Rennen mit China (Transkript, LessWrong). https://www.lesswrong.com/posts/xbpig7TcsEktyykNF/thiel-on-ai-and-racing-with-china

13.US-Senat (HELP-Ausschuss), Bericht zu KI und Arbeitsplätzen, Bernie Sanders (Okt. 2025). https://www.sanders.senate.gov/press-releases/news-sanders-releases-report-on-big-tech-oligarchs-war-against-workers-warns-ai-could-eliminate-nearly-100-million-u-s-jobs/

Governance und mediale Einordnung

14.International Network of AI Safety Institutes, Mission Statement (NIST). https://www.nist.gov/document/international-network-ai-safety-institutes-mission-statement

15.International AI Safety Report 2026 (Vorsitz Yoshua Bengio). https://internationalaisafetyreport.org/publication/international-ai-safety-report-2026

16.Reuters / onvista (5. Juni 2026): „Anthropic schlägt Pause bei KI-Entwicklung vor“. https://www.onvista.de/news/2026/06-05-anthropic-schlaegt-pause-bei-ki-entwicklung-vor-0-20-26519184

17.AP News: Anthropic ruft zu koordinierter KI-Pause auf. https://apnews.com/article/938c99158e5953601cf3322f1cec12af

18.Tagesschau (5. Juni 2026): „Anthropic warnt vor KI-Risiken / ruft zu Stopp auf“. https://www.tagesschau.de/wirtschaft/finanzen/anthropic-warnung-ki-stopp-100.html

19.Golem.de: „Anthropic schlägt weltweite Pause in KI-Entwicklung vor“. https://www.golem.de/news/ki-anthropic-schlaegt-weltweite-pause-in-ki-entwicklung-vor-2606-209441.html

Erhard-Eppler-Kreis

20.Erhard-Eppler-Kreis: „Magnifica Humanitas“. https://erhardepplerkreis.substack.com/p/magnifica-humanitas