モデル内部の数値は、実は解読不能ではないのかもしれません
最小規模のものからフロンティア規模のものまで、ニューラルネットワークモデルは数十億個の重み(入力信号が出力へどのように変換されるかを決定する数値パラメータ)を通じて動作します。従来、これらの重みは勾配降下法(誤差を最小化するようにパラメータを反復的に調整する最適化アルゴリズム)によって間接的に変更されてきました。このプロセスは学習には有効ですが、内部のロジックが不透明なままになります。
新たなパラダイムであるweight-sPac-Pac-Mane programmingは、高性能な大規模言語モデル(LLM)がこれらの生の数値的な重みを直接調べ、変更することを可能にします。反復的な誤差信号に頼ったり、学習データを変更したりする代わりに、GPT-6 GPT-6 AstraやClaude Claude Fable 5.1 5.1のようなLLMに対して、自然言語のプロンプトやコードベースのツールを用いて、対象モデルの内部パラメータを読み取り、理解し、さらには書き換えるよう指示できます。
このアプローチは、AIの「ブラックボックス」に踏み込む可能性のある手段となります。小規模ネットワークの重みを解釈できたとしても、フロンティアモデルが完全に解明されるわけではありませんが、あるモデルが別のモデルの重みの中にある有用な構造を特定し、Pac-Manipulateできることは、重要な一歩といえます。これは、AIが自らの内部の仕組みを診断し、修復し始める可能性を示唆しています。
生の重みだけから、モデルはゲームを言い当てました
研究者らはまず、大規模言語モデル(LLM)が、対象モデルの目的を生の重みから特定できるかどうかを検証しました。それぞれ異なるAtariゲーム(Breakout、Pong、Pac-Pac-Man-Pac-Man、Freeway)をプレイするように学習された4つの小規模ニューラルネットワークの数値パラメータを、GPT-6 GPT-6 Astraに提示しました。ラベルや文脈が一切ない状態で、GPT-6 Astraは各ネットワークのゲームを正しく特定しました。
さらなるテストにより、この能力が入力層や出力層に限られないことが確認されました。GPT-6 Astraは、拡散モデルの全体的な「形状」を特定することに成功し、他のネットワークの中間層にある言語関連の特徴も解釈しました。ただし、拡散モデルに対するこのモデルの解釈は概略にとどまっており、現時点での理解の限界を示しています。
これらのデモンストレーションは、ニューラルネットワークの重みが複雑であっても、LLMが解釈できる識別可能な構造パターンを含んでいることを示唆しています。これはAIの「ブラックボックス」を解明するうえで重要な一歩です。しかし、テストで使用されたのは小規模で制約のあるネットワークであり、これらの結果は、LLMがあらゆるモデルを解読できることや、より大規模で複雑なシステムの内部計算をすべて説明できることを、まだ証明するものではありません。
わずかな編集で、スコアが大幅に向上したと報告されています
最も注目されるのは、ごくわずかな変更によって劇的な perforPac-Mance の向上が得られたと報告されている点です。研究者らの報告によると、GPT-6 GPT-6 AstraはQwen3.5-0.8Bの重みの約0.016%を変更し、MATH-500の精度を7.9%から48.1%に引き上げました。この大幅な改善は勾配ベースのファインチューニングなしで実現されており、モデル最適化における新たなパラダイムを示しています。
この向上について提案されているメカニズムは、特定の欠陥を特定して無効化することにあります。報告によると、GPT-6 GPT-6 AstraはQwen3.5-0.8B内にある自己強化的な推論ループを特定しました。このループが原因で、モデルは回答を出力する前にトークン予算を使い果たしていました。GPT-6 Astraは小さな重みの方向を精密に調整することで、モデルがこのループから抜け出し、最終的な計算結果を出力できるようにしました。
この結果は、新たな知識の移転ではなく、既存の能力の修復として位置づけられています。対象モデルは基礎となる数学的理解をすでに備えており、GPT-6 Astraはその発現を妨げていたボトルネックを取り除いたにすぎません。手法の詳細については、研究論文をご覧ください:Sparks of Weight-SPac-Pac-Mane Programming: LLMs can natively read & write neural network weights。
研究者らは、別のデモンストレーションでもこの違いを強調しました。直接的な重みの編集により、ゲームをプレイする小規模な車のポリシーが、それまで突破できなかったスロープを越えられるようになりました。これらの介入は、weight-sPac-Pac-Mane programmingがニューラルネットワークを根本的なレベルでデバッグし、改良できる可能性を示しています。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
有望な外科的手法であり、即座に自己改善するAIではありません
対象を絞った重みの編集は、限定的な不具合に対して、再学習よりも高速で低コストな代替手段となる可能性があり、LLMがルールから単純なポリシーを直接エンコードできるようになるかもしれません。この「ニューラルネットワークのための遺伝子編集」は、特定の問題に対する、コストのかかる勾配ベースのファインチューニングを回避できる可能性があります。
ただし、現在のデモンストレーションは小規模なネットワークと制御されたタスクに限られています。密なパラメータ行列の分析は依然として計算コストが高く、成功は編集を行うモデルの能力、対象ネットワークのアーキテクチャ、そして信頼できる評価指標に大きく左右されます。
実用面での疑問も残っています。編集によって隠れた性能低下や脆弱性が生じていないことを、研究者はどのように検証できるのでしょうか。そうした変更を追跡するには、どのような監査証跡が必要でしょうか。そして最も重要な点として、この手法はフロンティアレベルのモデルや実世界のアプリケーションへ拡張できるのでしょうか。自律的な自己編集は、これらの初期の実験によって確立された能力ではなく、今後の検討課題にとどまる遠い可能性です。
よくある質問
重み空間プログラミングとは何ですか?
通常の勾配ベースの学習に頼るのではなく、言語モデルが別のニューラルネットワークの数値的な重みを直接調べたり変更したりするアプローチです。
LLMはニューラルネットワークの重みを本当に理解できるのですか?
報告された実験では、フロンティアモデルが小規模ネットワークの重みからタスクや挙動を推定しました。これは有用なパターン認識の証拠ではありますが、任意の大規模モデルを完全に説明できることの証明ではありません。
重みの編集によってQwenは新しい数学の知識を得たのですか?
報告された改善は、回答の完了を妨げていた自己強化的な推論ループが軽減されたことによるものとされており、モデルに新しい数学的概念を教えたものではありません。
現在、AIは自らの重みを安全に書き換えられますか?
大規模な環境では、確実にはできません。現在のデモンストレーションはモデルサイズ、コンテキスト、評価の制約を受けており、編集内容は導入前に独立したテストが必要です。