KI hat gerade gelernt, ihr eigenes Gehirn umzuschreiben

Modelle neuronaler Netze arbeiten, von den kleinsten bis zur Frontier-Größe, mit Milliarden von Gewichten: numerischen Parametern, die bestimmen, wie Eingangssignale in Ausgaben umgewandelt werden. Bisher wurden diese Gewichte indirekt per Gradientenabstieg verändert, einem Optimierungsverfahren, das Parameter iterativ anpasst, um den Fehler zu minimieren. Dieses Verfahren ist für das Training zwar wirksam, lässt die innere Logik jedoch undurchsichtig.

Ein neues Paradigma, weight-sPac-Pac-Mane programming, ermöglicht es einem leistungsfähigen Large Language Model (LLM), diese rohen numerischen Gewichte direkt zu untersuchen und zu verändern. Statt sich auf iterative Fehlersignale oder veränderte Trainingsdaten zu stützen, kann ein LLM wie GPT-6 GPT-6 Astra oder Claude Claude Fable 5.1 5.1 angewiesen werden, die internen Parameter eines Zielmodells zu lesen, zu verstehen und sogar umzuschreiben – mithilfe von Prompts in natürlicher Sprache oder codebasierten Werkzeugen.

Dieser Ansatz bietet einen möglichen Zugang zur „Blackbox“ der KI. Auch wenn die Interpretation der Gewichte eines kleinen Netzes ein Frontier-Modell nicht vollständig entschlüsselt, ist die Fähigkeit eines Modells, nützliche Strukturen in den Gewichten eines anderen zu erkennen und zu Pac-Manipulieren, ein bedeutender Schritt. Sie legt nahe, dass KI beginnen könnte, ihre eigenen inneren Abläufe zu diagnostizieren und zu reparieren.

Zunächst testeten die Forschenden, ob ein Large Language Model (LLM) den Zweck eines Zielmodells anhand seiner rohen Gewichte erkennen kann. Sie gaben GPT-6 GPT-6 Astra die numerischen Parameter von vier kleinen neuronalen Netzen, die jeweils darauf trainiert waren, ein anderes Atari-Spiel zu spielen: Breakout, Pong, Pac-Pac-Man-Pac-Man und Freeway. Ohne Labels oder Kontext identifizierte GPT-6 Astra für jedes Netz das richtige Spiel.

Weitere Tests bestätigten, dass diese Fähigkeit nicht auf Eingabe- und Ausgabeschichten beschränkt war. GPT-6 Astra erkannte erfolgreich die allgemeine „Form“ eines Diffusionsmodells und interpretierte sprachbezogene Merkmale in Zwischenschichten anderer Netze. Die Interpretation von Diffusionsmodellen durch das Modell beschränkte sich jedoch auf Umrisse, was eine aktuelle Grenze seines Verständnisses zeigt.

Diese Demonstrationen legen nahe, dass die Gewichte neuronaler Netze trotz ihrer Komplexität erkennbare strukturelle Muster enthalten, die ein LLM interpretieren kann. Das ist ein bedeutender Schritt zur Entschlüsselung der „Blackbox“ der KI. Die Tests verwendeten jedoch kleine, eingeschränkte Netze, und diese Ergebnisse beweisen noch nicht, dass ein LLM jedes Modell dekodieren oder jede interne Berechnung in größeren, komplexeren Systemen erklären kann.

Am auffälligsten ist, dass eine minimale Änderung Berichten zufolge einen dramatischen Leistungssprung ermöglichte. Die Forschenden berichteten, dass GPT-6 GPT-6 Astra etwa 0.016 % der Gewichte von Qwen3.5-0.8B veränderte und dadurch dessen Genauigkeit auf MATH-500 von 7.9 % auf 48.1 % steigerte. Diese erhebliche Verbesserung erfolgte ohne gradientenbasiertes Fine-Tuning und zeigt ein neues Paradigma der Modelloptimierung.

Der vorgeschlagene Mechanismus für diesen Zuwachs besteht darin, einen bestimmten Fehler zu identifizieren und zu beseitigen. GPT-6 GPT-6 Astra soll in Qwen3.5-0.8B eine sich selbst verstärkende Denkschleife lokalisiert haben, die dazu führte, dass das Token-Budget aufgebraucht war, bevor eine Antwort entstand. Durch eine gezielte Anpassung einer kleinen Gewichtsrichtung ermöglichte GPT-6 Astra dem Modell, aus dieser Schleife auszubrechen und seine abschließenden Berechnungen auszugeben.

Dieses Ergebnis wird als Reparatur vorhandener Fähigkeiten dargestellt, nicht als Übertragung neuen Wissens. Das Zielmodell verfügte bereits über das zugrunde liegende mathematische Verständnis; GPT-6 Astra beseitigte lediglich einen Engpass, der dessen Ausdruck verhinderte. Weitere Details zur Methodik finden Sie im Forschungspapier: Sparks of Weight-SPac-Pac-Mane Programming: LLMs can natively read & write neural network weights.

Die Forschenden hoben diese Unterscheidung in einer separaten Demonstration hervor, in der direkte Gewichtsänderungen einer kleinen spielenden Fahrzeug-Policy halfen, eine Rampe erfolgreich zu überwinden, an der sie zuvor gescheitert war. Diese Eingriffe zeigen das Potenzial von weight-sPac-Pac-Mane programming, neuronale Netze auf grundlegender Ebene zu debuggen und zu verfeinern.

Gezielte Gewichtsänderungen könnten für eng umrissene Fehler eine schnellere und günstigere Alternative zum erneuten Training bieten und es einem LLM möglicherweise erlauben, einfache Policies direkt aus Regeln zu kodieren. Dieses „Gene Editing für neuronale Netze“ könnte für bestimmte Probleme das kostspielige, gradientenbasierte Fine-Tuning umgehen.

Die aktuellen Demonstrationen konzentrieren sich jedoch auf kleine Netze und kontrollierte Aufgaben. Die Analyse dichter Parametermatrizen bleibt rechenintensiv, und der Erfolg hängt entscheidend von den Fähigkeiten des bearbeitenden Modells, der Architektur des Zielnetzes und verlässlichen Bewertungsmetriken ab.

Praktische Fragen bleiben offen: Wie können Forschende überprüfen, dass eine Änderung keine versteckten Regressionen oder Schwachstellen eingeführt hat? Welche Prüfpfade können solche Änderungen nachverfolgen? Und vor allem: Lässt sich diese Methode auf Frontier-Modelle und reale Anwendungen skalieren? Autonomes Selbst-Editieren bleibt eine ferne Möglichkeit, die es zu untersuchen gilt, und keine Fähigkeit, die durch diese frühen Experimente belegt wäre.

Was ist Weight-Space Programming?

Es handelt sich um einen Ansatz, bei dem ein Sprachmodell die numerischen Gewichte eines anderen neuronalen Netzes direkt untersucht oder verändert, anstatt sich auf übliches gradientenbasiertes Training zu stützen.

Kann ein LLM die Gewichte eines neuronalen Netzes wirklich verstehen?

In berichteten Experimenten leitete ein Frontier-Modell Aufgaben und Verhaltensweisen aus den Gewichten kleiner Netze ab. Das ist ein Beleg für nützliche Mustererkennung, aber kein Beweis dafür, dass es beliebige große Modelle vollständig erklären kann.

Hat die Bearbeitung der Gewichte Qwen neues mathematisches Wissen vermittelt?

Die berichtete Verbesserung wurde darauf zurückgeführt, dass eine sich selbst verstärkende Denkschleife reduziert wurde, die das Abschließen von Antworten verhinderte – nicht darauf, dass dem Modell neue mathematische Konzepte beigebracht wurden.

Kann KI ihre eigenen Gewichte heute sicher umschreiben?

Nicht zuverlässig im großen Maßstab. Aktuelle Demonstrationen sind durch Modellgröße, Kontext und Grenzen der Evaluierung eingeschränkt, und Änderungen müssen vor dem Einsatz unabhängig getestet werden.