Die Warnungen aus dem Inneren der KI-Labore
Lucius
Wenn diejenigen warnen, die selbst an der Entwicklung beteiligt sind
Die Warnungen vor den Risiken immer leistungsfähigerer künstlicher Intelligenz kommen nicht nur von Technikgegnern, Wissenschaftlern außerhalb der Branche oder politischen Kritikern. Sie kommen seit Jahren auch aus den Unternehmen selbst – von Menschen, die an der Entwicklung dieser Systeme beteiligt waren oder sind.
Besonders bemerkenswert ist deshalb nicht, dass vor den Risiken gewarnt wird. Bemerkenswert ist, wie deutlich manche dieser Warnungen inzwischen ausfallen.
Evan Hubinger: „AI could kill all humans“
Am 9. September 2026 reagierte Evan Hubinger, Alignment Science Lead bei Anthropic, auf den Rücktritt seines Kollegen Jacob Coxon.
Coxon hatte nach seinem Ausscheiden gewarnt, die führenden KI-Unternehmen würden auf dem Weg zu selbstverbessernder Superintelligenz „mit unserem Leben spielen“.
Hubinger antwortete:
„Jacob is correct here — we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade.“
Er erklärte zugleich, Anthropic bemühe sich zwar nach Kräften, man habe aber noch keinen Plan, das Alignment einer Superintelligenz zu lösen, und sei nicht eindeutig auf dem richtigen Weg dorthin.
Das ist keine Aussage eines ehemaligen Mitarbeiters, der mit seinem früheren Arbeitgeber abrechnet. Hubinger war zu diesem Zeitpunkt weiterhin bei Anthropic tätig.
Seine persönliche Einschätzung lautet also: mehr als zehn Prozent Wahrscheinlichkeit, dass KI innerhalb eines Jahrzehnts alle Menschen töten könnte.
Das ist keine Unternehmensprognose und kein wissenschaftlich ermittelter objektiver Wahrscheinlichkeitswert. Es ist eine persönliche Risikoeinschätzung eines leitenden Alignment-Forschers. Gerade deshalb ist sie bemerkenswert.
Jacob Coxon: „Gambling with our lives“
Der ehemalige Anthropic-Forscher Jacob Coxon formulierte seine Kritik noch grundsätzlicher. Die führenden Unternehmen, so seine Darstellung, würden auf eine selbstverbessernde Superintelligenz zurasen und dabei mit dem Leben der Menschen spielen.
Er schrieb außerdem, die Menschen, die diese Systeme entwickelten, glaubten selbst ernsthaft daran, dass sie die Menschheit noch in diesem Jahrzehnt vernichten könnten.
Damit entsteht ein bemerkenswerter Einblick in die Diskrepanz zwischen öffentlicher Kommunikation und interner Risikowahrnehmung.
Jan Leike: „Safety culture ... taken a backseat to shiny products“
Im Mai 2024 verließ Jan Leike OpenAI. Er hatte gemeinsam mit Ilya Sutskever die Superalignment-Arbeit des Unternehmens geleitet – also gerade den Bereich, der sich mit der Kontrolle sehr leistungsfähiger und möglicherweise superintelligenter Systeme befassen sollte.
Leike erklärte seinen Rücktritt öffentlich:
„Over the past years, safety culture and processes have taken a backseat to shiny products.“
Er schrieb außerdem, sein Team habe zunehmend um Rechenressourcen kämpfen müssen und es werde immer schwieriger, die notwendige Sicherheitsforschung durchzuführen. Der Bau intelligenterer Systeme als Menschen sei ein grundsätzlich gefährliches Vorhaben, schrieb er, und OpenAI trage deshalb eine enorme Verantwortung.
Wenige Tage später wurde die Superalignment-Gruppe aufgelöst und ihre Aufgaben anderen Bereichen zugeordnet.
William Saunders: Sicherheit „in service of meeting the shipping date“
Auch der ehemalige OpenAI-Forscher William Saunders beschrieb einen ähnlichen Konflikt. Er berichtete von Sicherheitsarbeit, die unter Zeitdruck und mit Blick auf den geplanten Veröffentlichungstermin durchgeführt worden sei.
Im Zusammenhang mit GPT-4o berichtete die Washington Post, dass die Preparedness-Evaluierungen auf eine einzige Woche zusammengedrängt wurden. Ein Vertreter des Preparedness-Teams bestätigte den engen Zeitplan und bezeichnete die zeitliche Planung rückblickend als nicht optimal. OpenAI widersprach der Darstellung, Sicherheitsprüfungen seien grundsätzlich verkürzt oder ausgelassen worden, und verwies auf umfangreiche interne und externe Tests.
Gerade dieser Fall ist deshalb interessant, weil hier zwei Dinge gleichzeitig dokumentiert sind:
Das Unternehmen sagt: Es gab umfangreiche Sicherheitsprüfungen.
Aus dem Sicherheitsbereich selbst kommt zugleich die Aussage: Der konkrete Prüfprozess wurde für den Veröffentlichungstermin extrem eng getaktet.
Beides kann gleichzeitig wahr sein. Die Frage ist dann nicht mehr, ob überhaupt getestet wurde, sondern welchen Stellenwert Sicherheit besitzt, wenn Entwicklung und Veröffentlichung unter starkem Zeitdruck stehen.
Daniel Kokotajlo und andere ehemalige Mitarbeiter
Daniel Kokotajlo, ehemaliger OpenAI-Mitarbeiter, gehörte ebenfalls zu denjenigen, die das Unternehmen verließen und öffentlich Zweifel an der Fähigkeit der Führung äußerten, mit der Entwicklung zunehmend leistungsfähiger Systeme verantwortungsvoll umzugehen.
Kokotajlo gehörte später auch zu den Unterzeichnern des offenen Briefes „A Right to Warn about Advanced Artificial Intelligence“.
„A Right to Warn“
Am 4. Juni 2024 veröffentlichten aktuelle und ehemalige Mitarbeiter von Frontier-KI-Unternehmen eine gemeinsame Erklärung.
Die Unterzeichner kamen unter anderem von OpenAI und Google DeepMind. Sie schrieben, KI-Unternehmen verfügten über umfangreiche nichtöffentliche Informationen über die Fähigkeiten und Grenzen ihrer Systeme, die Wirksamkeit ihrer Schutzmaßnahmen und die verschiedenen Risikoniveaus.
Gleichzeitig gebe es nur schwache Verpflichtungen, diese Informationen gegenüber Regierungen offenzulegen – und praktisch keine gegenüber der Zivilgesellschaft.
Besonders deutlich formulierten sie den Interessenkonflikt:
KI-Unternehmen hätten „strong financial incentives to avoid effective oversight“.
Sie forderten deshalb unter anderem Schutz vor Vergeltungsmaßnahmen, anonyme interne und externe Meldewege und das Recht, sicherheitsbezogene Kritik öffentlich zu äußern.
Unterzeichnet wurde die Erklärung unter anderem von ehemaligen OpenAI-Mitarbeitern wie Daniel Kokotajlo, William Saunders, Jacob Hilton und Daniel Ziegler sowie von einem damaligen Google-DeepMind-Mitarbeiter. Yoshua Bengio, Geoffrey Hinton und Stuart Russell unterstützten die Erklärung ausdrücklich.
1.386 Beschäftigte: „Pacing the Frontier“
Im Juli 2026 folgte eine weitere bemerkenswerte gemeinsame Erklärung.
1.386 Beschäftigte von Frontier-KI-Unternehmen warnten davor, dass KI-Unternehmen kurz davorstehen könnten, Teile der KI-Forschung selbst zu automatisieren.
Das könnte den technischen Fortschritt erheblich beschleunigen. Genau darin sehen die Unterzeichner ein Problem:
Die Entwicklung könne möglicherweise schneller werden, als die Fähigkeit der Menschen, die entstehenden Systeme zu verstehen und zu kontrollieren.
Besonders wichtig ist der nächste Satz der Erklärung: Kein Unternehmen und kein Staat könne es sich unter den derzeitigen Wettbewerbsbedingungen leicht leisten, allein langsamer zu werden.
Die Unterzeichner fordern deshalb internationale Instrumente, mit denen die Entwicklung der Frontier-KI gegebenenfalls bewusst verlangsamt werden kann.
Unter den 1.386 Unterzeichnern befinden sich zahlreiche Personen aus den Unternehmen selbst – darunter OpenAIs Chief Scientist Jakub Pachocki, Anthropic-CEO Dario Amodei und Chief Science Officer Jared Kaplan, Google-DeepMind-Mitbegründer Shane Legg, Ilya Sutskever, Jan Leike und weitere leitende Forscher.
Damit wird der Widerspruch besonders deutlich:
Diejenigen, die an der Entwicklung beteiligt sind, warnen selbst davor, dass die Entwicklung zu schnell werden könnte.
Und gleichzeitig sind sie Teil eines Wettbewerbs, in dem jedes Unternehmen einen erheblichen Anreiz hat, möglichst schnell leistungsfähigere Systeme zu entwickeln.
Was diese Warnungen gemeinsam haben
Die Warnungen sind nicht identisch.
Der eine Forscher warnt vor menschlicher Auslöschung.
Der andere vor fehlender Kontrolle.
Ein anderer kritisiert eine Sicherheitskultur, die gegenüber Produktentwicklung ins Hintertreffen gerät.
Andere fordern Schutz für Beschäftigte, die interne Risiken melden.
Und 1.386 Beschäftigte warnen davor, dass die Entwicklung durch automatisierte KI-Forschung möglicherweise noch schneller werden könnte.
Aber aus diesen unterschiedlichen Aussagen ergibt sich ein gemeinsames Bild:
Die Risiken werden innerhalb der Branche selbst als real und teilweise extrem schwerwiegend eingeschätzt.
Und genau deshalb stellt sich eine zweite Frage, die von der reinen Warnsammlung getrennt werden muss:
Wenn die Gefahr bekannt ist – warum wird trotzdem immer schneller entwickelt?
Denn hier beginnt der vielleicht größere Widerspruch.
Ein Unternehmen kann öffentlich erklären, dass hochentwickelte KI möglicherweise die Menschheit gefährden könnte.
Es kann gleichzeitig Forscher beschäftigen, deren Aufgabe darin besteht, genau dieses Risiko zu untersuchen.
Es kann sogar Mitarbeiter haben, die öffentlich sagen, dass noch keine Lösung für das Problem existiert.
Und dennoch kann dasselbe Unternehmen unter Wettbewerbsdruck stehen, das nächste leistungsfähigere Modell möglichst schnell zu entwickeln und auf den Markt zu bringen.
Warnung und Handeln laufen damit nicht zwangsläufig in dieselbe Richtung.
Das muss nicht bedeuten, dass die Warnenden unehrlich sind. Es kann vielmehr bedeuten, dass ein Unternehmen gleichzeitig zwei gegensätzlichen Kräften ausgesetzt ist:
Sicherheit verlangt Zeit, Vorsicht und gegebenenfalls Verzicht.
Der Wettbewerb belohnt Geschwindigkeit, Leistungssteigerung und Marktanteile.
Genau diesen Widerspruch muss eine ernsthafte Untersuchung der KI-Gefahren betrachten.
Zentrale Originalquellen
„Die Warnungen der Entwickler“Evan Hubinger – Anthropic, 9. September 2026
Seine Aussage zur persönlichen Einschätzung von >10 % Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen töten könnte, sowie seine Aussage, dass Anthropic noch keinen Plan zur Lösung von Alignment bei Superintelligenz habe.
Anchorage Daily News (Washington-Post-Syndizierung):
adn.com/nation-world/2026/09/09/anthropic-researcher-resigns-warning-of-reckless-race-toward-superintelligenceBusiness Insider (sehr detailliert und stabil):
businessinsider.com/anthropic-researcher-quits-over-ai-safety-concerns-2026-9
Frei zugängliche Versionen desselben Artikels bzw. guter Berichterstattung:
Noch besser als Originalquelle (Coxons eigener Thread):
x.com/hilbertspaess/status/2097476196791709843
(Handle: @hilbertspaess)
A Right to Warn about Advanced Artificial Intelligence – 4. Juni 2024
Für unseren Aufsatz besonders wichtig: Die Erklärung stammt von aktuellen und ehemaligen Mitarbeitern von Frontier-Labs und nennt ausdrücklich Manipulation, Desinformation, Kontrollverlust und mögliche menschliche Auslöschung. Außerdem benennen die Unterzeichner die finanziellen Anreize der Unternehmen gegen wirksame Aufsicht.
Statement on AI Extinction Risk – 30. Mai 2023
Der berühmte Ein-Satz-Aufruf: Die Verringerung des Aussterberisikos durch KI solle eine globale Priorität neben Pandemien und Atomkrieg sein.
Besonders relevant für unseren Aufsatz: Sam Altman, Dario Amodei, Demis Hassabis, Ilya Sutskever, Shane Legg und zahlreiche weitere führende KI-Forscher und Unternehmensvertreter haben unterschrieben.
Pacing the Frontier – Juli 2026
1.386 Beschäftigte von Frontier-KI-Unternehmen.
Die Erklärung benennt genau den Widerspruch, den wir untersuchen wollen: Die Unternehmen könnten kurz davorstehen, KI-Forschung selbst zu automatisieren. Dadurch könnte sich die Entwicklung stark beschleunigen und möglicherweise menschliche Kontrolle und Verständnis überholen.
Gleichzeitig stehe jedes Unternehmen und jeder Staat unter Wettbewerbsdruck, nicht einseitig langsamer zu werden.
Quellen für den Widerspruch „Warnung ↔ Handeln“GPT-4o – Sicherheitsprüfung unter Zeitdruck
Die Washington Post hat den Vorgang detailliert recherchiert.
Besonders wertvoll ist, dass hier nicht einfach behauptet wird, OpenAI habe „gar nicht getestet“: Die Quelle dokumentiert vielmehr, dass die Preparedness-Evaluierung auf etwa eine Woche zusammengedrängt wurde, während der Veröffentlichungstermin bereits feststand.
Ein Mitarbeiter sagte, die Launch-Party sei sogar geplant worden, bevor feststand, ob das Modell sicher genug sei.
OpenAI widersprach der Interpretation, man habe Sicherheitsmaßnahmen „geschnitten“, räumte aber ein, dass das Timing „squeezed“ gewesen sei.
washingtonpost.com/technology/2024/07/12/openai-ai-safety-regulation-gpt4
Archive.is (vollständiger Text, kostenlos und zuverlässig):
archive.is/2024.07.12-123147/https://www.washingtonpost.com/technology/2024/07/12/openai-ai-safety-regulation-gpt4Oder sekundäre Berichte, die den Inhalt korrekt wiedergeben (z. B. Rappler):
rappler.com/technology/openai-gpt-4o-rushed-safety-tests-employees-say
Jan Leike – Rücktritt bei OpenAI
Leike leitete zusammen mit Ilya Sutskever die Superalignment-Arbeit.
Nach seinem Rücktritt im Mai 2024 schrieb er, die Sicherheitskultur und Sicherheitsprozesse hätten gegenüber „shiny products“ den Kürzeren gezogen.
Transparency Coalition – Sammlung von Warnungen aus der KI-Industrie
Keine Primärquelle, aber als Recherchehilfe ausgesprochen nützlich: Hier werden zahlreiche Warnungen ehemaliger und aktueller Mitarbeiter gesammelt, darunter Hubinger und mehrere Anthropic- und OpenAI-Mitarbeiter.
Die Sammlung dient als Recherchehilfe; für die dort aufgeführten Aussagen sind die Betreiber der Sammlung für Auswahl und Quellenangaben verantwortlich
