KI baut sich jetzt selbst. Anthropic hat Angst.

Anthropics jüngstes Papier, 'When AI Builds Itself', beschreibt einen kritischen, sich beschleunigenden Trend: KI-Systeme delegieren nun einen wachsenden Anteil ihrer eigenen Entwicklung an andere KIs. Dieses Phänomen, als recursive self-improvement bezeichnet, deutet auf eine Zukunft hin, in der KI autonom ihre eigenen Nachfolger entwirft und entwickelt. Das Papier veranschaulicht die sich schließende Schleife und zeigt eine Entwicklung von Entwicklern, die Modelle wie Claude direkt programmieren, hin zu fortgeschrittenen Agenten und Sub-Agenten, die komplexe Forschung und Codegenerierung übernehmen. Diese Abstraktion bedeutet, dass Menschen zunehmend vom direkten Erstellungsprozess entfernt werden.

Anthropic spricht eine deutliche Warnung aus: Die Gesellschaft ist auf diesen tiefgreifenden Wandel fundamental unvorbereitet. Sie plädieren für eine deutliche Verlangsamung der KI-Entwicklung und betonen die existentiellen Risiken und das Potenzial für die Menschheit, die Kontrolle über diese zunehmend fähigen Systeme zu verlieren. Dieser eskalierende Trend stellt ein großes Alignment-Problem dar, das sofortige, globale Aufmerksamkeit erfordert, bevor es irreversibel wird.

Matthew Berman, ein prominenter KI-Kommentator und Moderator von Forward Future AI, bietet eine pointierte Gegendarstellung. Berman charakterisiert Anthropics öffentlichen Aufruf zur Verlangsamung als „unglaublich eigennützig“. Er impliziert, dass ein solcher Sicherheitsappell eines führenden KI-Unternehmens, obwohl scheinbar altruistisch, strategisch dessen Wettbewerbsposition in der hart umkämpften globalen KI-Entwicklungslandschaft zugutekommen könnte.

Die Landschaft der Softwareentwicklung hat sich mit schwindelerregender Geschwindigkeit verändert. Noch vor wenigen Jahren umfasste der Bau des ersten Claude, dass menschliche Entwickler Code und Dokumentation direkt auf Laptops schrieben, ein vertrauter Prozess, der den Abläufen traditioneller Technologieunternehmen entsprach. Diese Ära war durch direkte Mensch-Computer-Interaktion gekennzeichnet, wobei jede Codezeile explizit von einer Person verfasst wurde.

Der ChatGPT-Moment markierte in den Folgejahren einen entscheidenden Wandel. Entwickler wechselten vom direkten Programmieren zum Prompten von Chatbots, indem sie mit KI-Systemen kommunizierten, die dann Code generierten. Menschen begannen, hochrangige Absichten zu kommunizieren, anstatt präzise Syntax zu diktieren, wodurch ihre Beteiligung an der unmittelbaren Entwicklungspipeline grundlegend abstrahiert wurde.

Aktuelle Trends beschleunigen diese Abstraktion in die Ära der Coding Agents von 2025-2026. Ein einziger menschlicher Prompt delegiert nun komplexe Aufgaben an Schwärme von KI-Sub-Agenten oder „Workern“, die eine parallele Entwicklung in einem beispiellosen, massiven Umfang orchestrieren. Dieses Paradigma verschiebt die Rolle des Entwicklers von einem praktischen Programmierer zu einem strategischen Dirigenten, der autonome KI-Entitäten verwaltet, die komplexe Programmieraufgaben ausführen.

Diese zunehmende Loslösung menschlicher Beteiligung befeuert einen exponentiellen Anstieg der Softwareleistung und -komplexität. Ein kurzer menschlicher Prompt kann nun ein enormes Volumen an Code erzeugen, weit über das hinaus, was ein einzelner Entwickler produzieren könnte, und treibt sowohl den Umfang als auch die Komplexität von Projekten voran. Die Länge der Aufgaben, die KI-Agenten zuverlässig erledigen, verdoppelt sich nun etwa alle vier Monate, eine Beschleunigung gegenüber dem früheren Sieben-Monats-Trend, was die Natur der Softwareerstellung grundlegend neu gestaltet.

Die internen Metriken der KI offenbaren einen erstaunlichen Anstieg der Leistungsfähigkeit. Die Länge der Aufgaben, die KI-Agenten zuverlässig erledigen, verdoppelt sich nun alle vier Monate, eine deutliche Beschleunigung gegenüber der vorherigen Verdopplungsrate von sieben Monaten. Dieses exponentielle Wachstum signalisiert einen tiefgreifenden Wandel, der den Begriff acceleration engine beängstigend wörtlich nimmt und das rasante Entwicklungstempo unterstreicht.

Die Prognosen von Anthropic veranschaulichen eindringlich diese rasche Ausweitung des operativen Umfangs von KI. Im März 2024 bewältigten KI-Systeme menschliche Aufgaben von etwa vier Minuten Dauer. Bis Anfang 2026 sollen dieselben Systeme komplexe, 12-stündige Aufgaben bewältigen, was eine erstaunliche Zunahme sowohl der Ausdauer als auch der Autonomie bei der Problemlösung zeigt. Diese Entwicklung komprimiert Jahre menschlich getriebenen Fortschritts auf wenige Monate.

Entscheidend ist, dass die Fähigkeit der KI, neuartige Forschung zu reproduzieren, eine ähnlich dramatische Verbesserung zeigt. Auf dem Core Bench-Benchmark erreichten KI-Systeme vor nur 15 Monaten eine Erfolgsquote von lediglich 20 % bei der Replikation modernster AI-Forschung. Heute nähert sich diese Zahl 100 %, was auf eine nahezu vollständige Beherrschung der Selbstreplikation und Wissensgenerierung hindeutet. Dieser schnelle Fortschritt untermauert die Bedenken von Anthropic hinsichtlich der recursive self-improvement, die in ihrem Papier When AI Builds Itself: Our Progress Toward Recursive Self-Improvement and Its Implications detailliert beschrieben werden, da KI die Fähigkeit erlangt, ihre eigenen Grenzen unabhängig zu validieren und voranzutreiben.

KI zeigt derzeit eine unübertroffene Stärke im engineering, indem sie komplexe Aufgaben akribisch ausführt und bestehende Lösungen in großem Maßstab optimiert. Sie kann große Mengen an Code generieren, komplexe Entwicklungs-Workflows orchestrieren und Bemühungen über zahlreiche Sub-Agenten hinweg parallelisieren. Ihre grundlegende Einschränkung bleibt jedoch in der research bestehen, insbesondere bei der Generierung wirklich neuartiger Ideen oder der unabhängigen Definition strategischer Ziele.

Volle Autonomie hängt von einer entscheidenden fehlenden Zutat ab: der Fähigkeit, nuanciertes Urteilsvermögen auszuüben und einen verfeinerten 'Geschmack' in der Forschung zu besitzen. KI-Systemen fehlt derzeit das intuitive Urteilsvermögen, um wirklich vielversprechende Wege zu erkennen oder entscheidend zu bestimmen, was als Nächstes gebaut werden soll, über das bloße Wie der Konstruktion hinaus. Diese entscheidende kreative, zielsetzende Funktion bleibt fest im menschlichen Aufgabenbereich.

Sobald KI diesen letzten, schwer fassbaren Schritt der kreativen Ideenfindung und Zielfindung erlangt, wird die menschliche Rolle im Entwicklungszyklus vollständig verschwinden. Der Prozess der rekursiven Selbstverbesserung wird dann vollständig selbsttragend und autonom. An diesem entscheidenden Punkt verschiebt sich die einzige verbleibende Beschränkung des Tempos der KI-Evolution ausschließlich auf die Verfügbarkeit von roher compute-Leistung und Infrastruktur.

Was ist recursive self-improvement in der KI?

Recursive self-improvement ist der Prozess, bei dem ein KI-System in der Lage wird, autonom seine eigenen, fortschrittlicheren Nachfolger zu entwerfen und zu entwickeln, wodurch ein sich beschleunigender Fortschrittszyklus mit minimalem menschlichen Eingreifen entsteht.

Warum ist Anthropic besorgt, dass KI sich selbst baut?

Anthropic glaubt, dass diese Fähigkeit die Risiken, dass Menschen die Kontrolle über fortschrittliche KI-Systeme verlieren, erheblich erhöhen könnte. Sie argumentieren, dass dies ein großes Alignment-Problem darstellt, auf das die Gesellschaft nicht vorbereitet ist, was eine Verlangsamung der Entwicklung erforderlich macht.

Was sind AI coding agents?

AI coding agents sind autonome KI-Systeme, die Code schreiben, debuggen und implementieren können, um komplexe Softwareentwicklungsaufgaben zu lösen. Sie stellen eine Verschiebung dar, bei der Menschen Engineering-Probleme an KI delegieren, anstatt den Code selbst zu schreiben.

Was ist die 'fehlende Zutat' für die vollständige AI self-improvement?

Laut der Analyse ist die fehlende Zutat echte Neuartigkeit und Urteilsvermögen. Während KI hervorragend darin ist, klar definierte Aufgaben (engineering) auszuführen, hat sie derzeit Schwierigkeiten, originelle research-Ideen zu generieren und zu entscheiden, welche Ziele als Nächstes verfolgt werden sollen.