GoogleがAIの仲介役を排除した

マルチモーダルAIは長らく、ぎこちなく非効率なアーキテクチャに悩まされてきました。「古いやり方」では、ビジョンエンコーダ、オーディオエンコーダ、そして中核となる大規模言語モデル（LLM）という3つの重く別々のモデルを「テープで貼り合わせる」必要がありました。言語モデルは本質的に、生のピクセルや音波ではなく、テキストを数値に変換したトークンを理解します。このため、LLMが理解できる形式に視覚データと聴覚データを最初に傍受して翻訳するための、大規模で独立したエンコーダが必要でした。

この多コンポーネント構成は、マルチモーダルAIと対話する際に、3つの別々のネットワークが同時に実行されていることを意味します。このようなアーキテクチャは、VRAMと処理能力を著しく占有し、標準的なラップトップでのリアルタイムのローカルパフォーマンスを事実上不可能にします。絶え間ないデータ転送と冗長な処理は、かなりの計算オーバーヘッドを生み出します。

この肥大化を説明するために、典型的なビジョンエンコーダを考えてみましょう。これらは単純な変換器ではなく、膨大で、しばしば驚くべき5億5000万個のパラメータを含んでいます。従来のエンコーダは、画像を再形成し、マッピングし、理解するために広範なデータを必要とします。メインのLLMにデータが到達する前に、ピクセル間の関係を計算し、エッジを識別し、形状を特定し、オブジェクトを認識するために、数十の内部アテンションレイヤーを使用します。この「仲介役」による重い処理こそが、Gemma 4が排除する非効率性です。

Google DeepMindのGemma 4 12Bは、重いビジョンエンコーダを完全に削除することで、マルチモーダル処理を根本的に再定義します。Gemma 4は、画像を別個の複雑なネットワークに通す代わりに、48x48ピクセルのパッチに分割します。このアプローチは、視覚データの解釈に特化した数億のパラメータと数十のアテンションレイヤーを含む可能性のある従来のエンコーダを迂回します。

これらの生のピクセルパッチは、単一の薄い数学的ステップである線形射影を通過します。これは思考エンジンではなく、超高速のフォーマット変換器として機能します。巨大な数値グリッドが、各パッチから2,304個のピクセル値を取り込み、それらを乗算し、単一の行に引き伸ばします。この出力はLLMの内部テキストトークン形式と完全に一致し、生の視覚データをシームレスに統合することを可能にします。

DeepMindは、中核となる大規模言語モデルのバックボーンがすでに視覚的推論の知能を持っていることに気づきました。従来、ピクセル間の関係を計算し、オブジェクトを識別していた別個のエンコーダの「思考レイヤー」を削除することで、視覚コンポーネントをわずか3500万パラメータに削減しました。この静的な単一層マップは、分析的な思考を一切行わず、単にデータをフォーマットするだけで、VRAMを解放し、LLMが複雑な視覚的知能をネイティブに処理できるようにします。

Gemma 4 12Bは、標準的なM2 MacBook Proで、インターネット接続なしで、ほぼリアルタイムの視覚および音声分析を実行し、驚異的な速度を実現します。この根本的に効率的な設計は、ローカルAIを変革し、以前のマルチモーダルアーキテクチャを悩ませていた処理のボトルネックとVRAMの占有を排除します。DeepMindのエンコーダフリーのアプローチにより、メインのLLMが複雑なタスクをネイティブに処理できるようになり、日常のデバイスで強力なオフライン機能が解放されます。

音声処理は、ビジョンハックの創意工夫を反映しており、生の16 kHzオーディオ信号を連続的なトークンのストリームとして扱います。モデルは音声を40ミリ秒のフレームにスライスし、各フレームには640個の浮動小数点数が含まれています。シンプルなプロジェクション層がこれらを直接LLMの入力空間にマッピングします。トランスフォーマーバックボーンにとって、これらのオーディオブロックはテキストトークンと区別がつかず、単一の効率的なパスでシームレスなライブ文字起こし、翻訳、テキストフォーマットを可能にします。

エンコーダーの肥大化を取り除くことで、Gemma 4 12Bは、はるかに大規模なモデル（260億パラメータモデルの性能に匹敵）のパワーを小さなフットプリントに詰め込むことができます。この革新的なアーキテクチャは、16-24GBのVRAMに簡単に収まり、堅牢なローカルAIを消費者向けハードウェアで利用可能にします。この画期的な技術を探求したい開発者向けに、GoogleはGemma 4 12B: The Developer Guideで包括的なドキュメントを提供しています。

Gemma 4 12Bは、単なる別のモデルリリースではなく、大きな転換点を示しています。Googleは、単一のインテリジェントな言語バックボーンが、重い事前処理エンコーダーを必要とせずに、生の48x48ピクセルパッチから40ミリ秒のオーディオフレームまで、生の感覚データを処理できることを決定的に証明しました。この画期的なアプローチは、LLMの固有の推論層がネイティブな視覚および音声理解を実行でき、マルチモーダルAIを根本的に再定義することを示しています。

エッジAIへの影響は甚大です。以前はエンコーディングに費やされていた数億ものパラメータを取り除くことで、120億パラメータのGemma 4モデルは、標準的な16 GBのVRAMを搭載したM2 MacBook Proのようなデバイスで、ほぼリアルタイムのマルチモーダル分析を実現します。これにより、強力で完全にオフラインのAIエクスペリエンスが可能になり、ユーザーはクラウドへの依存とそれに伴うレイテンシやプライバシーの懸念から解放され、高度なAIをユーザーにより身近なものにします。

最終的に、このエンコーダーフリーの哲学は、真に統合されたマルチモーダルアーキテクチャの新世代を刺激するでしょう。根本的に効率的で強力な将来のモデルは、以前の設計に見られたような、別々の視覚および音声ネットワークを「後付け」するアプローチを放棄する可能性が高いです。代わりに、生の感覚入力を通じて世界をネイティブに理解する統一されたAI脳を受け入れ、インテリジェントシステムとの対話方法を根本的に変え、ローカルAI処理における革新を推進するでしょう。

Gemma 4 12Bとは何ですか？

Gemma 4 12Bは、Google DeepMindが開発した新しい120億パラメータのマルチモーダルAIモデルです。その主要な革新は、「エンコーダーフリー」アーキテクチャであり、これにより以前のモデルよりもはるかに効率的に画像と音声を処理できます。

AIにおける「エンコーダーフリー」とはどういう意味ですか？

これは、モデルがピクセルやオーディオ波形のような生データを直接処理することを意味し、そのデータをまず主要な言語モデルが理解できる形式に変換するために、別個の計算負荷の高い「エンコーダー」モデルを必要としません。

Gemma 4 12Bはどのようにして画像を高速に処理するのですか？

大規模なビジョンエンコーダーの代わりに、Gemma 4は軽量な「線形射影」層を使用します。この単一の数学的ステップにより、小さなピクセルパッチが言語モデルの入力形式に素早く再フォーマットされ、LLMの強力なバックボーンが実際の視覚的推論を処理できるようになります。

この新しいアーキテクチャの主な利点は何ですか？

主な利点は、処理速度の大幅な向上、VRAMとメモリ使用量の削減、そしてラップトップなどの標準的な消費者向けハードウェアで強力なリアルタイムマルチモーダルAIを完全にオフラインで実行できることです。