Doomer

Sechs fachkundige Organisationen fordern Schutzregeln für die Künstliche Intelligenz, statt sie zu verdammen oder zu bejubeln – und werden dennoch als technikfeindlich abgetan. Wer arbeitet gegen sie,

von Axel Fersen

Die öffentliche Debatte über Künstliche Intelligenz kennt vor allem zwei laute Lager. Das eine sieht in ihr ein Heilsversprechen – Produktivität, Wachstum, medizinischen Fortschritt – und hält jede Regulierung für eine Bremse. Das andere lehnt sie als Bedrohung ab und denkt an verlorene Arbeitsplätze, Überwachung und Kontrollverlust. Zwischen beiden steht, leicht zu übersehen, eine dritte und leisere Gruppe: Menschen, die die Technik weder verteufeln noch bejubeln, sondern nüchtern feststellen, dass ein mächtiges und nützliches Werkzeug Schutzmechanismen und demokratische Kontrolle braucht. Sie werden regelmäßig dem Lager der Gegner zugeschlagen und als „technikfeindlich“ oder, im englischen Jargon, als „doomer“ abgetan.

Das ist ein Kategorienfehler, und er lohnt der Korrektur – denn diese Mahner sind keine Maschinenstürmer. Viele von ihnen haben die Technik, vor deren Risiken sie warnen, selbst mitgebaut. Es ist zugleich eine friedenspolitische Frage, weil das Muster vertraut ist: Ein Etikett erledigt die Arbeit, die einem Argument zukäme – so wie in der Sicherheitspolitik das Wort „pazifistisch“ eine Position diskreditiert, ehe man sie gehört hat. Im Folgenden geht es darum, wer diese Organisationen sind, warum sie fachkundig sind, welche Schwierigkeiten sie teilen – und, als entscheidender Teil, wer gegen sie arbeitet und weshalb.

Max Tegmark, Bild: KI-generiert (ChatGPT 5.5)

Sechs Organisationen, zwei Lager

Die wichtigsten dieser Organisationen lassen sich zwei Familien zuordnen, die einander nicht immer einig sind. Die eine sorgt sich um den langfristigen Kontrollverlust und um existenzielle Risiken immer leistungsfähigerer Spitzenmodelle; die andere um konkrete Schäden im Hier und Jetzt – Machtkonzentration, Überwachung, Manipulation. Diese Spannung ist real, und sie wird am Ende noch wichtig.

Am bekanntesten ist das Future of Life Institute, 2014 vom MIT-Physiker Max Tegmark gemeinsam mit dem Skype-Mitgründer Jaan Tallinn und anderen gegründet. Sein erklärtes Ziel ist es, transformative Technologien zum Nutzen des Lebens zu lenken und von Großrisiken fernzuhalten. Sein Gewicht verdankt es nicht zuletzt seiner finanziellen Unabhängigkeit: Eine Spende des Ethereum-Mitgründers Vitalik Buterin aus dem Jahr 2021 – im damaligen Kryptowert rund 665 Millionen Dollar – dient als Stiftungskapital und sichert nach eigener Darstellung die Unabhängigkeit; das Institut nimmt eigenen Angaben zufolge kein Geld von Big-Tech-Konzernen oder von Unternehmen, die an einer Superintelligenz arbeiten. Sein öffentliches Instrument ist der offene Brief: der Aufruf vom März 2023 zu einer sechsmonatigen Pause beim Training von Systemen jenseits von GPT-4, und das Statement on Superintelligence vom Oktober 2025, das über tausend Menschen unterzeichneten – Nobelpreisträger, die KI-Pioniere Geoffrey Hinton und Yoshua Bengio, der Apple-Mitgründer Steve Wozniak, quer durch das politische Spektrum. Es fordert, von der Entwicklung einer Superintelligenz abzusehen, bis ein breiter wissenschaftlicher Konsens besteht, dass sie sicher und beherrschbar gelingt, und bis die Öffentlichkeit dem zustimmt.

Das Center for AI Safety in San Francisco, 2022 von Dan Hendrycks gegründet, ist die technisch versierteste dieser Gruppen. Hendrycks ist kein Außenstehender: Er ist Mitentwickler der GELU-Aktivierungsfunktion, die in Modellen wie GPT steckt, und Urheber der Benchmarks MMLU und MATH, mit denen die Branche ihre eigenen Modelle misst. Sein Ein-Satz-Statement von 2023 – die Minderung des Auslöschungsrisikos durch KI solle eine globale Priorität neben Pandemien und Atomkrieg sein – trugen unter anderem Hinton, Bengio, Sam Altman und Demis Hassabis mit; finanziert wird CAIS vor allem von der Stiftung Open Philanthropy. Zwei jüngere, radikalere Gruppen gehen weiter: ControlAI, geführt von Andrea Miotti, wirbt in Parlamenten – in Kanada, den USA und Deutschland – für ein Verbot der Superintelligenz; und PauseAI, eine 2023 im niederländischen Utrecht von Joep Meindertsma gegründete Graswurzelbewegung, organisiert Proteste für eine internationale Trainingspause, bis Sicherheit und demokratische Kontrolle gewährleistet sind.

Die zweite Familie blickt weniger auf hypothetische Zukünfte als auf gegenwärtige Macht. Das AI Now Institute, 2017 an der New York University von Kate Crawford (Microsoft Research) und Meredith Whittaker gegründet – Letztere leitete einst die KI-Forschung bei Google und steht heute der Signal-Stiftung vor –, wurde 2022 vollständig unabhängig und lehnt Konzerngelder ab; es lebt von Stiftungsmitteln (Ford, Mozilla, Sloan). Es erforscht die Machtkonzentration in der Tech-Industrie; politisch fordert es, dass Allzweck-KI nicht aus den Hochrisiko-Regeln des europäischen KI-Gesetzes herausdefiniert wird. Seine Glaubwürdigkeit ist auch institutionell: 2021 berief die US-Handelsbehörde FTC Mitarbeiter von AI Now in ihr Grundsatzreferat. Das Center for Humane Technology, 2018 vom früheren Google-Designethiker Tristan Harris mit Aza Raskin – dem Erfinder des „unendlichen Scrollens“, das er heute bereut – und Randima Fernando gegründet, wurde mit der Netflix-Dokumentation „The Social Dilemma“ und dem Podcast „Your Undivided Attention“ bekannt. Sein Argument: Viele Schäden entstehen nicht aus der Leistungsfähigkeit der Modelle, sondern aus Produktdesign und Geschäftsmodellen, die auf Bindung zielen.

Fachleute, keine Maschinenstürmer

Zusammengenommen macht das Personal den Vorwurf der Technikfeindlichkeit schwer haltbar. Die prominentesten wissenschaftlichen Fürsprecher der Sache sind die beiden lebenden Turing-Preisträger des tiefen Lernens, Hinton und Bengio – Hinton verließ Google 2023, um frei warnen zu können. Der Direktor von CAIS hat Messverfahren gebaut, die die Labore täglich verwenden; die Gründerinnen von AI Now haben KI-Forschung bei Google und Microsoft verantwortet; die Gründer des Center for Humane Technology waren Insider des Silicon Valley. Und die Forderung ist bedingt, nicht abolitionistisch: nicht „Schluss mit der KI“, sondern „nicht die gefährlichsten Systeme, nicht bevor sie sicher und demokratisch legitimiert sind“. Zwei dieser Organisationen, das Future of Life Institute und AI Now, weisen Geld aus genau jener Industrie zurück, die sie prüfen – das Gegenteil dessen, was man von Maschinenstürmern wie von gekauften Lobbyisten erwarten würde.

Die strukturellen Schwierigkeiten

Die Schwierigkeiten beginnen mit der Natur des Gegenstands. Ein existenzielles Risiko lässt sich kaum beweisen, ehe es eintritt; deshalb klingen Warnungen vor einer Superintelligenz für Kritiker spekulativ. Das Vokabular schneidet nach beiden Seiten: Worte wie „Auslöschung“ oder „Kontrollverlust“ erzeugen Aufmerksamkeit, laden aber zugleich zum Etikett des Alarmismus ein. Und die Bewegung ist in sich gespalten – der Fokus auf das langfristige Auslöschungsrisiko wird, von innen, als Ablenkung von heutigen Schäden kritisiert; dazu gleich mehr.

Hinzu kommen Politik und Geld. Regierungen fürchten, im Wettlauf zurückzufallen, weshalb Forderungen nach Pausen oder Verboten am Innovations- und Sicherheitsnationalismus auflaufen; nationale Selbstverpflichtungen sind leichter zu haben als verbindliche internationale Regeln. Selbst wo man sich auf Prinzipien einigt, fehlen die Institutionen zur Durchsetzung – die Umsetzungslücke. Und die Mittel sind grotesk ungleich verteilt: Allein in Brüssel gibt die Tech-Industrie inzwischen rund 151 Millionen Euro jährlich für Lobbyarbeit aus, gegen die zivilgesellschaftliche Gruppen kleine Akteure bleiben; und Kritiker warnen, die gegenwärtige „Vereinfachung“ der EU-Digitalregeln sei in der Sache eine Deregulierung.

Wer gegen sie arbeitet – und warum

Der schärfste Widerstand ist offen und ideologisch. Im Oktober 2023 veröffentlichte der mächtigste Wagniskapitalgeber der KI-Branche, Marc Andreessen (Andreessen Horowitz, kurz a16z), ein „Techno-Optimist Manifesto“ mit einer ausdrücklichen Liste von „Feinden“. Darunter, in seinen eigenen Worten: „existential risk“, „trust and safety“, „tech ethics“, „risk management“, das „Precautionary Principle“. Es lohnt, das rhetorische Manöver genau zu benennen: Gewöhnlich neutrale Begriffe des Regierens – Sicherheit, Ethik, das Abwägen von Risiken – werden zu einer jahrzehntelangen Kampagne der Demoralisierung gegen Technik und Leben umgedeutet. Vorsicht wird als Sabotage definiert; der Feind, heißt es, sei die Stagnation. Dass derselbe Andreessen im Aufsichtsrat von Meta sitzt, das eine große „trust and safety“-Abteilung unterhält, gehört zum Bild – und die Branche selbst reagierte auf diese offene Feindliste mit Befremden.

Wie das praktisch wirkt, zeigte sich 2024 in Kalifornien. Ein maßvolles Gesetz, SB 1047, hätte die Entwickler der allergrößten Modelle verpflichtet, Sicherheitstests durchzuführen und für katastrophale Schäden zu haften. Es wurde von Hinton und Bengio getragen, von Hendrycks’ CAIS, von PauseAI und von rund zwei Dritteln der befragten Kalifornier; das Parlament verabschiedete es mit klarer Mehrheit. Dagegen stellten sich Andreessen Horowitz – nach den Worten des Gesetzgebers im Zentrum des Widerstands –, dazu OpenAI, Google, Meta, der Gründerinkubator Y Combinator und die Kongressabgeordnete Nancy Pelosi, mit dem Argument, das Gesetz ersticke Innovation und vertreibe Talente. Im September 2024 legte Gouverneur Gavin Newsom sein Veto ein. Der Urheber des Gesetzes, Senator Scott Wiener, warf den Gegnern vor, Falschdarstellungen über seinen Inhalt verbreitet zu haben.

Der intellektuell ernsteste Einwand kommt aus dem Lager der Open-Source-Verfechter, und er verdient, ernst genommen statt abgetan zu werden. Metas Chef-KI-Forscher Yann LeCun, selbst Turing-Preisträger, nennt die Furcht vor existenziellen Risiken „absurd“ und argumentiert, das Gerede vom Untergang sei – oder werde – ein Vehikel für eine „regulatorische Vereinnahmung“: Man ängstige die Öffentlichkeit und setze dann Regeln durch, die quelloffene Modelle verbieten und das Feld auf wenige etablierte Konzerne festlegen. Er und der KI-Forscher Andrew Ng warben in einer Mozilla-Erklärung für Offenheit und Transparenz. Der Punkt ist berechtigt – und ironisch: Die Sorge, die Macht könne sich bei wenigen Unternehmen bündeln, ist genau die Sorge von AI Now. Doch das Argument greift auch zu weit; DeepMinds Demis Hassabis wies den Vorwurf der Vereinnahmung zurück, und er passt schlecht zu jenen Sicherheitsorganisationen, die – wie das Future of Life Institute und AI Now – kein Big-Tech-Geld nehmen und nicht die großen Labore sind. Damit zeigt sich eine Zwickmühle: Dieselben Organisationen werden von der einen Seite als milliardär- und „effektiv-altruistisch“-finanzierte Ideologen angegriffen und von der anderen dafür, gar kein Industriegeld anzunehmen.

Schließlich kommt Kritik aus der KI-Ethik selbst – und sie ist die unbequemste, weil sie der Sicherheit nicht feindlich gegenübersteht. Als das Future of Life Institute 2023 seinen Pausenbrief veröffentlichte, hielten ihm Forscherinnen wie Timnit Gebru und Emily Bender entgegen, er überhöhe hypothetische künftige „digitale Geister“ und vernachlässige die belegten Schäden der Gegenwart: Diskriminierung, die Ausbeutung von Klickarbeitern, Datendiebstahl, Überwachung. Mehrere Wissenschaftler, deren Arbeiten der Brief zitierte, distanzierten sich öffentlich von der Kampagne. Dieser Riss – Existenzrisiko hier, gegenwärtiges Unrecht dort – schwächt die gemeinsame Front, weil zwei Debatten, die einander stützen müssten, sich gegenseitig verdrängen.

Was das mit Friedenspolitik zu tun hat

Tritt man einen Schritt zurück, geht es im Kern nicht um Technikfeindlichkeit gegen Fortschritt. Es geht um die ältere Frage, wer eine transformative Technologie kontrolliert und zu welchen Bedingungen. Das Bemerkenswerteste am Superintelligenz-Aufruf vom Oktober 2025 ist seine zweite Bedingung: nicht nur ein wissenschaftlicher Konsens über die Sicherheit, sondern die ausdrückliche Zustimmung der Öffentlichkeit – demokratischer Konsens. Das verschiebt die ganze Frage. Sie lautet nicht mehr, ob die Maschinen gebaut werden dürfen, sondern ob die Gesellschaft, die mit ihnen leben wird, ein Wort mitzureden hat.

Das ist vertrautes Gelände für die Tradition, in der der Erhard-Eppler-Kreis steht. Die „Gemeinsame Sicherheit“ der Palme-Kommission und, in ihrer Linie, Egon Bahr und Erhard Eppler beruhten auf einer schlichten Einsicht: Sicherheit gegenüber einer Technik, die sich nicht mehr zurücknehmen lässt, entsteht nicht aus dem Gewinn eines ungebremsten Wettlaufs, sondern aus vereinbarter Zurückhaltung, Überprüfbarkeit und Legitimität. Die Analogie zur Rüstungskontrolle ist keine Zierde – das CAIS-Statement selbst reiht das KI-Risiko neben Atomkrieg und Pandemie ein, und die Rufe nach Moratorien folgen der Logik der Rüstungskontrolle. Der Eppler-Kreis hat dasselbe für autonome Waffen vertreten, wo die Verhandlungen über ein UN-Instrument bis Ende 2026 vor ihrer Frist stehen.

Der entscheidende Punkt aber ist der mit dem Etikett. Wie in der Friedenspolitik eine Position allzu oft als „naiv“ oder „pazifistisch“ abgetan wird, ehe man ihre Gründe prüft, so erledigt in der KI-Debatte das Wort „technikfeindlich“ – oder sein englischer Vetter „doomer“ – die Arbeit, die einem Argument zukäme. Die hier vorgestellten Organisationen sind weder naiv noch technikfeindlich. Sie sind, in ihrer Mehrheit, die Leute, die die Technik gebaut haben, und sie bitten darum, ein mächtiges Werkzeug unter menschlicher und demokratischer Kontrolle zu halten. Ob man jeden ihrer Vorschläge teilt oder nicht – diese Bitte ist keine Maschinenstürmerei. Sie ist das Mindeste, was eine sich selbst regierende Gesellschaft sich schuldet.

Quellenverzeichnis

Primärquellen der Organisationen sowie internationale Berichterstattung; Belege ganz überwiegend englischsprachig.

Future of Life Institute – Mission — Gegründet 2014 (Tegmark, Tallinn u. a.); Auftrag, transformative Technologien von Großrisiken fernzuhalten.

Future of Life Institute – Finanzen — Buterin-Spende 2021 (~665 Mio. USD) als Stiftungskapital; kein Geld von Big Tech oder AGI-Unternehmen.

Future of Life Institute – Pause Giant AI Experiments (2023) — Offener Brief für eine sechsmonatige Trainingspause jenseits von GPT-4.

Statement on Superintelligence (2025) — Aufruf, Superintelligenz erst bei wissenschaftlichem Konsens und öffentlicher Zustimmung zu entwickeln; über 1.000 Unterzeichner.

Center for AI Safety — Gegründet 2022 (Dan Hendrycks), San Francisco; technische Sicherheitsforschung und Politik.

CAIS – Statement on AI Risk (2023) — Ein-Satz-Erklärung: Auslöschungsrisiko als globale Priorität neben Pandemie und Atomkrieg.

Dan Hendrycks (UC Berkeley) — Mitentwickler von GELU; Urheber der Benchmarks MMLU und MATH.

ControlAI — Kampagne für ein Verbot der Superintelligenz; parlamentarische Arbeit u. a. in Deutschland.

A. Miotti, TIME (2025) — Plädoyer für eine globale Bewegung gegen superintelligente KI.

PauseAI — 2023 in Utrecht gegründete Graswurzelbewegung (J. Meindertsma); internationale Trainingspause.

AI Now Institute — 2017 an der NYU (Crawford, Whittaker); seit 2022 unabhängig, ohne Konzerngeld.

AI Now – GPAI-Policy-Brief — Allzweck-KI dürfe nicht aus den Hochrisiko-Regeln des EU-KI-Gesetzes herausfallen.

Center for Humane Technology – Geschichte — 2018 (Harris, Raskin, Fernando); „The Social Dilemma“, Podcast „Your Undivided Attention“.

M. Andreessen, „Techno-Optimist Manifesto“ (a16z, 2023) — Feindliste mit „existential risk“, „trust and safety“, „tech ethics“, „risk management“.

VentureBeat (2023) — Zur Wirkung der offenen „Feindliste“ des Manifests im Silicon Valley.

CalMatters (2024) — Newsoms Veto gegen SB 1047; Gegner u. a. OpenAI, Google, Meta, Kongressmitglieder.

TechCrunch – S. Wiener (2024) — Der Gesetzgeber über a16z im Zentrum des Widerstands und über Falschdarstellungen.

TIME – Yann LeCun (2024) — LeCun nennt die Furcht vor existenziellem KI-Risiko „absurd“.

TechCrunch – Offenheits-Erklärung (2023) — LeCun und Ng warnen vor „regulatorischer Vereinnahmung“; Mozilla-Statement für Offenheit.

TechCrunch – KI-Ethik gegen den Pausenbrief (2023) — Gebru, Bender u. a.: der Brief vernachlässige gegenwärtige Schäden.

Reuters (2023) — Zitierte Wissenschaftler distanzieren sich von der Musk-nahen Pause-Kampagne.

Euronews (2025) — Tech-Lobbying in Brüssel auf Rekordniveau (~151 Mio. Euro/Jahr).

Amnesty International (2026) — Kritik: „Vereinfachung“ der EU-Digitalregeln als Deregulierung.