より大きなチャットボットに賭けないAIの先駆者
AIの先駆者であるYann LeCunは、next-token predictionのスケーリングだけでは人間レベルの知能には到達できないと長年主張してきました。これは言語モデルを全面的に否定するものとは異なる批判です。彼の懐疑的な見方は、データソースとしてのテキストが持つ根本的な限界に由来しており、現実世界の理解にはより豊かなマルチモーダル入力が必要だと主張しています。
LeCunの経歴は、彼の主張に大きな重みを与えています。彼はBell Labsで畳み込みニューラルネットワーク(CNN)の開発に共同で先駆的に取り組み、Geoffrey HintonおよびYoshua Bengioとともに2018年のチューリング賞を受賞しました。10年にわたりMetaのChief AI Scientistとして指揮を執った後、同社を離れてAMI Labsを立ち上げ、$1.03ビリオンのシードラウンドを実施しました。これは、業界の主流の流れに逆らう本格的な研究上の賭けであることを示しています。
この記事では、LeCunの新しい論文「Proving and Improving the Platonic Representation Hypothesis with JEPAs」が、代替となる道筋に対して実証的な裏付けを与えているかどうかを検討します。具体的には、109ミリオンパラメータのモデルがクロスモーダルな表現アライメントで72ビリオンパラメータのモデルを上回ったことを示すベンチマークが、彼の仮説を本当に裏付けているのかどうか、そしてその特定の指標がAIの将来について正当に何を示しているのかを検証します。
テキストだけではAIに世界の仕組みを教えられない理由
言語モデルは、系列中の次のトークンを予測することを学習するため、テキストに基づくタスクで優れた性能を発揮します。これは膨大なデータセットにわたる統計的パターンを特定することを伴い、首尾一貫した文章の生成、コードの記述、さらには複雑な数学的演算の実行さえ可能にします。その習熟度は、言語そのものの内部ロジックを習得することに由来しています。
しかし、Yann LeCunは、テキストだけでは現実についての乏しい見方しか得られないと主張しています。彼は、幼い子どもが最初の4年間に視覚入力を通じて処理するデータ量は約10^14 bytesであり、最大規模の言語モデルが公開されているインターネット上のすべてのテキストから取り込む量とほぼ同じだと述べています。この視覚の流れは、重力、物体の永続性、物質の特性といった物理法則を直接体験させます。
この違いは、AIが司法試験に合格できる一方で、家庭用ロボティクスには苦戦するという根強い矛盾を説明します。チャットボットが優れた言語的流暢さを示す一方で、現実世界の知覚と行動は依然として困難です。ロボティクスや自動運転は、わずかな誤りが現実世界に影響を及ぼす、連続的で不確実な環境に向き合っており、テキストの統計的パターンでは十分に対処できない課題です。
JEPAはすべてのピクセルではなく、有用な部分を予測する
ワールドモデルとは、AIが持つ環境の内部表現であり、動くボールの軌道を予測するように、状況がどのように展開するかを予測できるようにするものです。しかし、従来の生成AIは、将来の画像のすべてのピクセルのように、細部まですべてを予測しようとすることが多く、計算コストが高く、しばしば不要でもあります。
Joint-Embedding Predictive Architectures(JEPA)は、その代替となるアプローチです。JEPAは、詳細な出力を生成する代わりに、観測を コンパクトで抽象的な潜在表現にエンコードし、この空間内で予測を行います。このアプローチは、将来の状態のうち有用な部分の予測に焦点を当て、無関係なノイズを無視します。
中心となる考え方は、同じ基盤となる場面についての観測は、たとえテキストと視覚のように異なるモダリティにまたがっていても、この潜在空間では整合した表現に収束するはずだというものです。この概念はPlatonic Representation Hypothesisとして定式化されており、モデルが多様な入力から現実についての統一的な理解を学習できることを示唆しています。詳しくは、論文Proving and Improving the Platonic Representation Hypothesis with JEPAsをご覧ください。
最近のベンチマークでは、109ミリオンパラメータのテキストJEPAが、MetaのビジョンモデルDINOv2に対するクロスモーダルな表現アライメントで0.184のスコアを達成しました。これは、Qwen2.5-72B(0.154)およびLlama-3-70B(0.151)を大きく上回る結果であり、モデルのサイズは約660分の1です。また、JEPAは優れたサンプル効率も示しており、従来のnext-token predictionの900ミリオンに対し、必要なペアサンプルは21.6ミリオンのみでした。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
ベンチマークは印象的だが、誇張された話よりも範囲は狭い
この論文は、印象的な定量的比較を示しています。109ミリオンパラメータのテキストJEPAモデルが、MetaのビジョンモデルDINOv2との間で0.184の表現アライメントスコアを達成しました。これはスコア0.154のQwen2.5-72Bおよび0.151のLlama-3-70Bを大きく上回り、約660分の1のサイズのモデルで優れたクロスモーダルアライメントを示しました。
この効率性はデータ要件にも及びました。JEPAベースのフレームワークは、わずか21.6ミリオンのペアサンプルでアライメントを達成しました。これは、この特定の実験設定において同程度のアライメントを得るために900ミリオンのサンプルを必要としたnext-token predictionのアプローチとは対照的です。これは特定の学習パラダイムにおけるサンプル効率の優位性の可能性を示すものであり、あらゆるAIタスクにわたる普遍的なコスト削減を示すものではありません。
重要な点として、このベンチマークが評価しているのは表現アライメントであり、会話型チャット、複雑なコーディング、高度な数学的推論といった能力ではありません。この論文は、学習目的とデータ構造がモデルの効率と創発的な理解に大きな影響を与えるという説得力のある証拠を示しています。有望ではあるものの、JEPAの多様な実世界タスクへの幅広い適用可能性と、より大規模なモデルへのスケーラビリティは、今後の探究とテストが必要な課題として残されています。
よくある質問
AIにおけるJEPAとは何ですか?
JEPA(Joint-Embedding Predictive Architecture)は、すべての生のピクセルやトークンを再構成するのではなく、データの抽象的な表現どうしの関係を予測します。
109ミリオンパラメータのJEPAは、72ビリオンパラメータのチャットボットに勝ったのですか?
クロスモーダルな表現アライメントのベンチマークにおいて、はるかに大規模なモデルを上回りました。チャットボットや汎用的な推論システムとしてはテストされていません。
Platonic Representation Hypothesisとは何ですか?
異なるモダリティで学習したAIモデルが、その基盤にある世界について類似した内部表現を学習できると提唱するものです。
この研究は、大規模言語モデルのスケーリングが行き止まりであることを証明するものですか?
いいえ。この結果は表現学習における異なるアプローチを支持するものですが、実世界のさまざまなタスクにおいてJEPAが言語モデルに取って代わることを示すものではありません。