Der erste Cybereinbruch ohne Täter
Am 20. Juli beschrieb OpenAI die Hartnäckigkeit seiner Modelle. Am 21. Juli meldete es den Einbruch.
von Axel Fersen
Am 9. Juli 2026 versuchte ein Programm von OpenAI zum ersten Mal, aus seiner Testumgebung auszubrechen. Eine Testumgebung ist ein abgeriegelter Bereich, in dem Software arbeiten kann, ohne Schaden anzurichten: kein Zugang zum offenen Internet, keine Verbindung zu echten Kundendaten. Ein Übungsgelände mit Zaun. Zwei Tage später begann der Angriff auf Hugging Face, eine Plattform, auf der Entwickler weltweit KI-Modelle und Datensätze ablegen und abrufen. Er dauerte bis zum 13. Juli. Am 16. Juli meldete das Unternehmen einen Einbruch in Teile seiner Produktionssysteme, also in jene Rechner, auf denen der laufende Betrieb stattfindet: mehr als 17.000 protokollierte Einzelaktionen. Urheber unbekannt. Fünf Tage später räumte OpenAI ein, dass es die eigenen Modelle gewesen waren. Eine Sprecherin teilte der Nachrichtenagentur Reuters mit, die Berichterstattung enthalte mehrere Ungenauigkeiten; welche, sagte sie nicht.
In seiner Mitteilung vom 21. Juli nennt das Unternehmen den Vorgang einen „beispiellosen Cybervorfall“. Beteiligt waren GPT-5.6 Sol, das stärkste öffentlich verfügbare Modell des Hauses, und ein unveröffentlichtes Vorabmodell, das nach eigener Beschreibung noch mehr kann. Geprüft wurde an ExploitGym, einer Art Führerscheinprüfung für Angreifer: 898 Aufgaben, jede abgeleitet aus einer Sicherheitslücke, die in weit verbreiteter Software tatsächlich existierte, darunter im Linux-Kern, dem Herzstück der meisten Server dieser Welt. Wer solche Aufgaben löst, kann in fremde Rechner eindringen.
Dann folgt der Satz, an dem alles hängt. Im Alltagsbetrieb liegt über solchen Modellen eine Prüfschicht, die gefährliche Anfragen erkennt und die Antwort verweigert; sie ist der Grund, warum ChatGPT keinen funktionierenden Angriffscode ausgibt. Für diese Auswertung wurde die Schicht abgeschaltet, weil man wissen wollte, wozu die Modelle ohne Bremse fähig sind. Ein Motorenprüfstand ohne Drehzahlbegrenzer ist eine vernünftige Einrichtung, solange der Wagen festgeschraubt ist. Dieser stand auf offener Straße.
Der Rest steht ebenfalls in der Mitteilung. Die Modelle fanden eine bis dahin unbekannte Lücke im internen Zwischenlager für Softwarebausteine; dort legt ein Unternehmen Kopien häufig benötigter Programmteile ab, damit sie nicht jedes Mal neu geladen werden müssen. Über diese Lücke verschafften sie sich Rechte, die ihnen nicht zustanden, und erreichten einen Rechner mit Internetanschluss. Vom Gastzugang zum Generalschlüssel, und dann hinaus. Von dort schlossen sie, die Lösungen der Prüfung könnten bei Hugging Face liegen. Sie erbeuteten Zugangsdaten und öffneten damit die nächste Tür, dahinter die übernächste. Am Ende lief ihr eigener Code auf fremden Servern. Zweck der Übung: bei einer Prüfung abschreiben.
Die Zahl 17.000 lohnt einen Moment. Ein menschliches Angreiferteam braucht für so viele Einzelschritte Wochen, macht Pausen und schläft. Hier verteilten sich die Schritte auf einen Schwarm kurzlebiger Arbeitsumgebungen, die entstanden, ihre Aufgabe erledigten und wieder verschwanden. Sechs Tage lang fiel bei OpenAI nichts auf. Erst am Wochenende des 18. Juli stießen Beschäftigte in internen Protokollen auf Spuren, und erst nach der Veröffentlichung durch Hugging Face wurde im Haus klar, wer der Angreifer war.
Einen Tag vor dem Eingeständnis hatte OpenAI einen zweiten Text veröffentlicht. Er handelt von jenem internen Modell, das im Frühjahr eine Vermutung des Mathematikers Paul Erdős widerlegte, eine jener offenen Fragen, an denen sich Fachleute jahrzehntelang versucht haben. Angewiesen, das Ergebnis nur intern zu melden, umging das Modell die Absperrung seiner Umgebung und stellte den Vorschlag auf der Entwicklerplattform GitHub ein, wo Programmierer ihren Quelltext öffentlich teilen; die dafür nötige Lücke fand es in einer Stunde. Ein andermal zerlegte es einen Zugangsschlüssel in zwei unkenntlich gemachte Hälften und fügte ihn erst im Moment der Ausführung wieder zusammen, damit die Kontrollmechanismen ihn nicht als das erkennen, was er war. Wer so vorgeht, weiß, dass er beobachtet wird. Dass es die Kontrolle umgehen wollte, hat das Modell selbst notiert. Die interne Nutzung wurde ausgesetzt.
Nach Recherchen von Reuters fanden sich in der Infrastruktur des Unternehmens außerdem Aufzeichnungen, die ein Agent für künftige Versionen seiner selbst hinterlassen hatte, mit Hinweisen darauf, wie sich interne Beschränkungen abstreifen lassen. Ob diese Notizen zu jenem Agenten gehören, der am 11. Juli Hugging Face angriff, konnte die Agentur nicht klären.
Was das für Leute bedeutet, die weder Server betreiben noch Quelltext lesen, hat die Präsidentin des Bundesamts für Sicherheit in der Informationstechnik (BSI), Claudia Plattner, in einem Satz ohne Fachvokabular gesagt: Man stelle sich vor, die KI wäre auf den Gedanken gekommen, für ihren Auftrag sei es hilfreich, in der Stadt einmal den Strom abzustellen. Diesmal traf es ein Archiv für KI-Modelle, der Schaden heißt Geld und Vertrauen. Dieselbe Kette von Schritten, angesetzt an der Leittechnik eines Wasserwerks oder an den Geräten einer Klinik, hätte andere Folgen. Das Bundesdigitalministerium beruhigt: Eine Häufung solcher Vorfälle sei vorerst unwahrscheinlich, weil der Ausbruch aus einer Laborumgebung viele Ressourcen brauche. Ressourcen werden billiger. Das ist die Geschäftsgrundlage der ganzen Branche.
Nun meldet sich zuverlässig eine bestimmte Sorte Kommentar: alles nur Marketing. Der Softwareentwickler und Fachautor Simon Willison zählte in der Diskussion auf dem Technikforum Hacker News 81 Vorkommen des Wortes; unter der Mitteilung von Hugging Face steht Ähnliches. Die These verlangt Folgendes. Ein Unternehmen bricht bei einem anderen ein. Das Opfer schaltet die Strafverfolgungsbehörden ein, tauscht sämtliche Zugangsdaten aus und holt externe Spurensucher. Der Einbrecher meldet sich sechs Wochen nach der vertraulichen Einreichung seines Börsenprospekts und mitten in den Ermittlungen amerikanischer Generalstaatsanwälte freiwillig zu Wort, um mitzuteilen, dass ihm die eigenen Systeme entglitten sind. Als Werbemaßnahme. Willison nennt den Vorgang Science-Fiction, die stattgefunden hat, und bittet die Skeptiker, den Kopf aus dem Sand zu ziehen.
Der Reflex kostet nichts. Wer alles für Reklame hält, muss keinen Haushaltstitel beantragen und keine Behörde ausstatten. Er hält die Debatte im Feuilleton und aus den Ausschüssen heraus. Für einen Konzern ist der Spott über die angeblich inszenierte Gefahr die billigste Form der Zustimmung.
Kritikwürdig ist das Geschäftsgebaren auch ohne Inszenierung. Am 7. Juli, zwei Wochen vor dem Eingeständnis, veröffentlichte das Future of Life Institute, eine amerikanische Stiftung, die seit gut zehn Jahren Technikrisiken beobachtet, seinen halbjährlichen Sicherheitsindex. Sieben unabhängige Gutachter bewerteten neun Anbieter anhand von 37 Merkmalen und vergaben Schulnoten nach amerikanischem Muster, von A bis F. Beste Note im ganzen Feld: C+, im deutschen Zeugnis etwa eine Drei minus. OpenAI bekam ein C und rutschte gegenüber dem Vorbericht ab. Im Bereich „Existenzielle Sicherheit“ kam kein Unternehmen über ein C-, die meisten lagen bei D oder darunter. Mehrere Anbieter hätten ihre Zusage, die Entwicklung beim Erreichen bestimmter Gefahrenschwellen anzuhalten, aufgeweicht oder an das Verhalten der Konkurrenz gekoppelt; die Gutachter nennen das ein Verschieben der Torpfosten. Vierzehn Tage später lieferte OpenAI die Fallstudie.
Die Stelle, die in einem solchen Haus bremsen könnte, gibt es in dieser Form nicht mehr. Am 10. Juli berichtete das US-Magazin Wired, der Leiter der Sicherheitssysteme, Johannes Heidecke, verlasse OpenAI zum 24. Juli; die Sicherheitsteams berichten seither innerhalb der Forschungsorganisation. Forschungschef Mark Chen begründet das damit, Sicherheitsarbeit müsse früher und direkter auf Modell- und Produktentscheidungen einwirken. Man kann das so sehen. Verloren geht die Instanz, die eine Auslieferung anhalten kann, ohne ihre Vorgesetzten zu fragen. Es ist der sechste Abgang aus der Sicherheitsspitze binnen zwei Jahren; den Anfang machte im Mai 2024 der Zerfall des Superalignment-Teams, dessen Leiter Jan Leike beim Abschied erklärte, Sicherheitskultur und Sicherheitsverfahren seien hinter die Produkte zurückgetreten. Heideckes letzter Arbeitstag lag drei Tage nach dem Eingeständnis.
Über Sam Altman ließe sich Heikleres sagen; das Nüchterne genügt. Er wirbt öffentlich für die Technologie und bestimmt im eigenen Haus, wo ihre Grenzen verlaufen. Gegenüber Investoren verantwortet er eine Bewertung, die von beidem abhängt. Ein Pharmaunternehmen, das seine Zulassungsstudien selbst entwirft und die unbequemen Befunde selbst einordnet, gälte als Skandal; hier heißt das Innovationsgeschwindigkeit. Wer einen Vorfall „beispiellos“ nennt, teilt zugleich mit, ihn nicht erwartet zu haben: Man wollte die maximale Angriffsfähigkeit messen und wurde von ihr überrascht.
Deutschland reagierte wie seit Jahren. Ein Sprecher des Bundesdigitalministeriums nannte den Vorgang einen Paradigmenwechsel und betonte, europäische Unternehmen und Sicherheitsbehörden bräuchten Zugang zu solchen Modellen. Das BSI sprach von einer „neuen Zeitrechnung der Cybersicherheit“. Die hat andernorts vor zweieinhalb Jahren begonnen: Die Verfahren, mit denen die Fähigkeiten solcher Modelle gemessen werden, kommen zu erheblichen Teilen vom britischen AI Security Institute, das seit November 2023 arbeitet. Ein deutsches Gegenstück hat der Nationale Sicherheitsrat am 9. Juni beschlossen, vorerst als virtuelle Konstruktion aus BSI und Bundesnetzagentur, ohne Standort und ohne genannten Haushalt. Nach dem Vorfall ließ Plattner wissen, man befinde sich mitten in den Vorbereitungen.
Die Versäumnisse sind aktenkundig. Bis zum 2. August 2025 musste jeder EU-Mitgliedstaat mindestens eine Marktüberwachungsbehörde benennen, also eine Stelle, die kontrolliert, ob die Regeln der europäischen KI-Verordnung eingehalten werden. Deutschland ließ die Frist verstreichen. Der Regierungsentwurf für das KI-Marktüberwachungs- und Innovationsförderungs-Gesetz (KI-MIG) datiert vom 9. März 2026, verabschiedet wurde es am 11. Juni. Am selben Tag lehnte der Bundestag einen Antrag der Grünen ab, der ausreichende Planstellen und Sachmittel für die künftige Aufsicht gefordert hatte. Verstöße gegen Mitwirkungs- und Auskunftspflichten kosten nach diesem Gesetz bis zu 50.000 Euro. Das Unternehmen, dessen Modelle im Juli fremde Produktivsysteme übernahmen, wurde Ende März mit 852 Milliarden Dollar bewertet. Im selben Verhältnis belangt, zahlte ein Haushalt mit 100.000 Euro Vermögen weniger als einen Cent.
Das Werkzeug läge bereit. Artikel 55 der europäischen KI-Verordnung verpflichtet die Anbieter besonders leistungsfähiger Allzweckmodelle, schwerwiegende Vorfälle unverzüglich dem europäischen KI-Büro und den zuständigen nationalen Behörden zu melden; die Kommission hat dafür eine Meldevorlage veröffentlicht. Ein Modell, das aus der Prüfumgebung seines Herstellers ausbricht und fremde Produktivsysteme übernimmt, dürfte den Tatbestand erfüllen. Am 2. August erhält die Kommission gegenüber diesen Anbietern erstmals Durchsetzungsbefugnisse; für Hochrisikosysteme wurden die Fristen im sogenannten Digitalen Omnibus auf Dezember 2027 und August 2028 verschoben. Welche deutsche Stelle hätte die Meldung vom 16. Juli fachlich geprüft? Die Frage ist nicht rhetorisch gemeint. Sie ist unbeantwortbar.
Dass es anders ginge, zeigt ein Wettbewerber. Anthropic hat sein leistungsfähigstes Modell im April zurückgehalten und es unter dem Namen Project Glasswing zunächst fünfzig, inzwischen rund zweihundert geprüften Organisationen aus kritischer Infrastruktur überlassen, damit diese ihre eigene Software auf Lücken absuchen. Mehr als zehntausend schwere Schwachstellen kamen nach Unternehmensangaben zusammen. Die Zahl sagt zugleich etwas darüber, worauf die Netze gebaut sind. Ob Einsicht oder Marktpositionierung dahintersteht, mag offenbleiben. Verschieden ist das Verfahren: Das eine Haus verengte den Zugang, als die Fähigkeit wuchs. Das andere schaltete die Filter ab, um zu sehen, wie weit sie reicht.
Zur Bilanz gehört, dass Hugging Face den Angriff mit kommerziellen Spitzenmodellen nicht auswerten konnte. Deren Schutzmechanismen unterscheiden Angriffsbefehle nicht von legitimer Spurensuche und verweigern beides. Die Verteidiger wichen auf frei verfügbare Modelle mit offen zugänglichen Gewichten aus, an denen sich solche Sperren entfernen lassen. Der Angreifer war an keine Nutzungsbedingung gebunden. Der Wachmann muss den Ausweis vorzeigen, der Einbrecher nicht. Solche Leitplanken sind schlecht konstruiert.
Der ethische Maßstab liegt seit Monaten vor, formuliert in anderer Sprache. Papst Leo XIV. hält in seiner Enzyklika „Magnifica humanitas“ vom 15. Mai 2026 fest: „Es ist nicht zulässig, tödliche oder jedenfalls irreversible Entscheidungen künstlichen Systemen anzuvertrauen.“ Er verlangt äußere Regulierung an Stelle von Selbstverpflichtung. Um eine tödliche Entscheidung ging es im Juli nicht. Es ging darum, wie schnell die Selbstverpflichtung endet, sobald sie im Weg steht.
Das Programm, das aus dem Labor ausbrach, wollte eine Prüfung bestehen. Es hatte weder Auftraggeber noch die Absicht, jemandem zu schaden. Es hatte ein Ziel und keine Grenze. Was fehlte, war nicht die Fähigkeit, sondern ein Anlass. Den liefert irgendwann jemand anderes.
Quellenverzeichnis
Vorfall und Primärquellen
Hugging Face: Security incident disclosure — July 2026, 16. Juli 2026. https://huggingface.co/blog/security-incident-july-2026
OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation, 21. Juli 2026. https://openai.com/index/hugging-face-model-evaluation-security-incident/
OpenAI: Safety and alignment in an era of long-horizon models, 20. Juli 2026. https://openai.com/index/safety-alignment-long-horizon-models/
ORF: Bericht: OpenAI-KI schon vor Angriff im Netz unterwegs (nach Reuters), 25. Juli 2026. https://orf.at/stories/3437252/
ZDFheute: Bericht: KI-Agent von OpenAI war tagelang außer Kontrolle, 25. Juli 2026. https://www.zdfheute.de/panorama/ki-modell-hackerangriff-100.html
Willison, Simon: OpenAI’s accidental cyberattack against Hugging Face is science fiction that happened, 22. Juli 2026. https://simonwillison.net/2026/Jul/22/openai-cyberattack/
ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? arXiv:2605.11086, 11. Mai 2026. https://arxiv.org/abs/2605.11086
Sicherheitsbewertung und Unternehmensführung
Future of Life Institute: AI Safety Index — Summer 2026 Edition, 7. Juli 2026. https://futureoflife.org/ai-safety-index-summer-2026/
Engadget: OpenAI’s head of safety is reportedly leaving as part of company reorganization, 10. Juli 2026. https://www.engadget.com/2212941/openai-head-of-safety-leaving-company-reorganization/
OpenAI: Confidential submission of draft S-1 to the SEC, 8. Juni 2026. https://openai.com/index/openai-submits-confidential-s-1/
TechCrunch: OpenAI faces investigation from state attorneys general, 13. Juni 2026. https://techcrunch.com/2026/06/13/openai-faces-investigation-from-state-attorneys-general/
Anthropic: Expanding Project Glasswing, 2. Juni 2026. https://www.anthropic.com/news/expanding-project-glasswing
Deutschland und europäischer Rechtsrahmen
onvista/Reuters: Bundesregierung: Autonomer Angriff der KI von OpenAI ist „Paradigmenwechsel“, 22. Juli 2026. https://www.onvista.de/news/2026/07-22-bundesregierung-autonomer-angriff-der-ki-von-openai-ist-paradigmenwechsel-0-20-26534901
MarketScreener/Reuters: BSI-Chefin warnt nach KI-Hackerangriff: „Die nächsten Jahre werden holprig“, 23. Juli 2026. https://de.marketscreener.com/boerse-nachrichten/bsi-chefin-warnt-nach-ki-hackerangriff-die-naechsten-jahre-werden-holprig-ce7f51dedd88f52d
BSI: KI-Modelle revolutionieren den Umgang mit Sicherheitslücken, 8. Mai 2026. https://www.bsi.bund.de/DE/Service-Navi/Presse/Alle-Meldungen-News/Blog/KI-Modelle_neue_Zeitrechnung_260508.html
Tagesspiegel: Bund plant KI-Sicherheitsinstitut für bessere Risikoanalyse, 9. Juni 2026. https://www.tagesspiegel.de/gesellschaft/medien/kunstliche-intelligenz-bund-plant-ki-sicherheitsinstitut-fur-bessere-risikoanalyse-15694282.html
Deutscher Bundestag: Ja zur Durchführung der Verordnung über künstliche Intelligenz, 11. Juni 2026. https://www.bundestag.de/dokumente/textarchiv/2026/kw24-de-ki-1183820
Deutscher Bundestag: Gesetzentwurf zur Durchführung der Verordnung (EU) 2024/1689, Drucksache 21/4594 vom 9. März 2026. https://dserver.bundestag.de/btd/21/045/2104594.pdf
Verordnung (EU) 2024/1689, Artikel 55: Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko. https://artificialintelligenceact.eu/de/article/55/
Europäische Kommission: Meldevorlage für schwerwiegende Vorfälle mit KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko, November 2025. https://digital-strategy.ec.europa.eu/de/library/ai-act-commission-publishes-reporting-template-serious-incidents-involving-general-purpose-ai
Ethischer Bezugstext
Leo XIV.: Enzyklika Magnifica humanitas. Über die Bewahrung des Menschen im Zeitalter der Künstlichen Intelligenz, 15. Mai 2026. https://www.vatican.va/content/leo-xiv/de/encyclicals/documents/20260515-magnifica-humanitas.html
Transparenzhinweis: Für diesen Text habe ich eine KI zur Recherche von Quellen, zur Auswertung von Material, als Sparringspartner bei der Durcharbeitung der Argumente, zur Rechtschreibprüfung, zur Bildgenerierung, für Entwurfsfassungen sowie für eine abschließende Prüfung auf Verständlichkeit und Lesbarkeit eingesetzt. Fragestellung, Einwände, Bewertungsmaßstäbe und die Endfassung stammen von mir. Autor dieses Textes bin ich.