Die Gewichte sind kein unlesbares Rauschen mehr
Neuronale Netze lernen, indem sie Gewichte anpassen – numerische Werte, die den Informationsfluss zwischen künstlichen Neuronen bestimmen. Beim Training werden Millionen oder Milliarden dieser Gewichte anhand von Rückmeldungen iterativ verfeinert und minimal verschoben, bis das Netz seine Aufgabe erfüllt. Das ist zwar wirksam, führt aber zu einer riesigen, undurchschaubaren Menge von Zahlen, die für menschliche Betrachter wie Rauschen aussieht.
Weight-Space Programming (WSP) schlägt eine radikale Alternative vor: Diese Gewichte werden mithilfe der eigenen Schlussfolgerungen eines Modells direkt untersucht und bearbeitet, ohne die herkömmlichen Trainingsschleifen. Dieses Paradigma macht aus Gewichten, die bislang unlesbares Rauschen waren, potenziell debugbaren Code.
Eine Forschungsarbeit des MIT vom 2. November, „Sparks of Weight-Space Programming of Weight-Space Programming“, hat dies direkt demonstriert. GPT-6 GPT-6 Astra von OpenAI erschloss allein aus den Rohgewichten, was kleine Netze gelernt hatten. So identifizierte GPT-6 Astra bei 17.253 Gewichten von auf Atari-Spielen trainierten Netzen jedes Spiel korrekt, ohne die Netze auszuführen.
Noch bemerkenswerter: GPT-6 Astra analysierte die internen Gewichte von drei Sprachmodellen mit je 7 Millionen Parametern (Python, Englisch, Romaji), bei denen die Eingabe- und Ausgabeschichten entfernt worden waren. Es benannte bei allen dreien korrekt die Trainingssprache und lokalisierte bestimmte Aufmerksamkeitsmechanismen wie „Copying Heads“, ohne vorherige Anweisung zu deren Struktur.
Diese Ergebnisse legen nahe, dass die Parameter eines neuronalen Netzes weniger wie eine Black Box funktionieren könnten, sondern eher wie ein kompiliertes, wenn auch undurchsichtiges Programm. Die Fähigkeit von GPT-6 GPT-6 Astra, diese komplexen Muster zu „lesen“, deutet darauf hin, dass Modellgewichte entschlüsselbare, programmatische Logik enthalten.
Ein Modell erriet das Spiel anhand von 17.253 Zahlen
Die Forschenden testeten zunächst die Fähigkeit von GPT-6 GPT-6 Astra, Netzgewichte zu „lesen“. Sie trainierten vier identische Netze mit jeweils 17.253 Gewichten, die jeweils ein anderes Atari-Spiel spielen sollten: Breakout, Pong, Pac-Man oder Freeway. GPT-6 Astra erhielt die Gewichte jedes Netzes als Rohtext, ohne Spielbezeichnungen und ohne Ausführungsrechte, und erkannte bei allen vier das Spiel korrekt.
Gewichtsmuster lieferten einen entscheidenden Hinweis. So zeigte das Breakout-Netz Informationen zur Schlägersteuerung, die am unteren Rand des Spielfelds konzentriert waren, was die Mechanik des Schlägers im Spiel widerspiegelt. Das legte nahe, dass sich die Aufgabenstruktur in bestimmten Gewichtsverteilungen abbilden kann.
Anschließend erhöhte das Team die Schwierigkeit. Es entfernte die Eingabe- und Ausgabeschichten von drei Sprachmodellen mit je etwa 7 Millionen Gewichten, die jeweils auf Python, Englisch oder Romaji trainiert waren. GPT-6 Astra erkannte, ohne die Modelle auszuführen, die jeweilige Sprache und lokalisierte jeden Copying Head präzise – Mechanismen, die Modellen helfen, früheren Text zu wiederholen.
Diese Demonstrationen sind begrenzt. GPT-6 Astra hat zwar diese konkreten, kleineren Modelle erfolgreich analysiert, doch sie belegen nicht, dass es ein beliebiges Frontier-Modell ohne Vorwissen intuitiv lesen oder interpretieren kann. Die Arbeit zeigt eine aufkeimende Fähigkeit im Weight-Space Programming, keine universelle Lösung.
Eine Änderung von 0,016 % entschärfte Berichten zufolge eine größere Schleife
Als Nächstes demonstrierte GPT-6 GPT-6 Astra Weight-Space Programming, indem es neue Gewichte direkt schrieb. Die Forschenden beauftragten GPT-6 Astra, aus Regeln und Quellcode Gewichte für einfache Spiele im Atari-Stil zu erzeugen, ohne Trainingsdaten und ohne Beobachtung des Spielverlaufs. Die Leistung übertraf Berichten zufolge in allen drei Spielen die Basiswerte von Netzen, die über 100 Millionen Schritte trainiert worden waren, und schlug in Breakout sogar Netze mit 500 Millionen Schritten, in den beiden anderen jedoch nicht.
Ein anspruchsvollerer Schreibtest bestand darin, ein Sprachmodell vom Typ Qwen3.5-0.8B zu reparieren. Dieses Modell geriet laut Dokumentation von Alibaba häufig in sich wiederholende Reasoning-Schleifen. GPT-6 Astra identifizierte in den Gewichten von zwei Schichten (15 und 19) eine bestimmte Richtung, die für dieses Verhalten verantwortlich war, und veränderte 131.072 Gewichte – lediglich 0,016 % aller Gewichte des Modells.
Die berichteten Benchmark-Änderungen waren auffällig: Die Genauigkeit bei MATH-500 stieg von 7,9 % auf 48,1 %, und das Befolgen von Anweisungen verbesserte sich von 21 % auf 62,3 %. Die Rekonstruktion der Änderung durch einen unabhängigen Ingenieur erreichte 51 % bei MATH-500. Die verwendeten Einstellungen könnten das ursprüngliche Schleifenverhalten verstärkt haben, und Skeptiker fragen, inwieweit diese Diagnose bestehende Interpretierbarkeits-Workflows automatisiert. Weitere Details finden Sie in der Originalstudie: Sparks of Weight-Space Programming of Weight-Space Programming: LLMs can natively read & write neural network weights.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Ein Patch ist keine Intelligenzexplosion
Die berichteten Ergebnisse scheinen zu zeigen, dass GPT-6 GPT-6 Astra ein Hindernis beseitigt, das vorhandene Fähigkeiten verdeckte, und nicht Wissen oder Fähigkeiten installiert, die das Modell nie hatte. Die Änderung an Qwen3.5-0.8B entschärfte Berichten zufolge ein größeres Schleifenproblem, doch ein berichteter Versuch, ein Modell zu verbessern, das selten in Schleifen geriet, brachte nur geringen Gewinn. Das deutet darauf hin, dass das Modell ein leistungsfähiger Debugger ist, aber kein universeller Verbesserer.
Die direkte Untersuchung von Gewichten verspricht Nutzen für das Debugging und künftig für Modell-Audits. Allerdings konnten diese Experimente nicht zuverlässig jedes Verhaltensmerkmal, etwa Sycophancy, allein anhand der Gewichte erkennen. Die demonstrierte Fähigkeit sollte nicht mit autonomer, universeller Modellreparatur verwechselt werden.
Ein anderes Modell zu bearbeiten ist noch kein System, das sich selbst verbessert. Gezielte Änderungen zu erleichtern könnte auch Schutzmechanismen schwächen; zugleich eröffnet die Fähigkeit, Gewichte neuronaler Netze zu lesen und zu schreiben, einen neuen Weg für Mechanistic Interpretability.
Der Zugang zu offenen Gewichten bleibt Voraussetzung für solche Eingriffe. Das Paradigma Weight-Space Programming ist zwar leistungsfähig, zeigt aber die zwei Seiten eines tieferen Modellzugriffs: Es ermöglicht präzise Korrekturen, potenziell aber auch bösartige Manipulationen.
Häufig gestellte Fragen
Was ist Weight-Space Programming?
Es handelt sich um ein Verfahren, bei dem ein KI-Modell die numerischen Gewichte eines anderen neuronalen Netzes direkt analysiert oder bearbeitet, statt sich auf herkömmliches Training zu stützen, um sie zu verändern.
Kann KI Modellgewichte ohne Training bearbeiten?
In den berichteten Experimenten hat GPT-6 Astra Gewichte ohne gradientenbasiertes Training geschrieben oder verändert. Die Ergebnisse belegen nicht, dass es beliebige große Modelle zuverlässig verbessern kann.
Was hat die Gewichtsbearbeitung bei Qwen verändert?
Die Forschenden berichteten, dass Astra eine mit sich wiederholenden Reasoning-Schleifen verbundene Richtung entfernt hat, indem etwa 0,016 % der Gewichte des Modells verändert wurden.
Macht Weight-Space Programming KI selbstverbessernd?
Noch nicht. Die Demonstrationen betrafen die Bearbeitung anderer, kleinerer Modelle, und die Methode schien besser darin zu sein, ein Hindernis zu beseitigen, als eine Fähigkeit hinzuzufügen, die dem Modell fehlte.