元OpenAI CTOが975Bパラメータの巨大モデルを公開
元OpenAI CTOのMira Murati氏は、クローズドなAI開発環境に挑む120億ドル規模のスタートアップ「Thinking Machines」を立ち上げました。同社は強力なオープンウェイトモデルを推進し、高度なAI機能を民主化することで、企業がインテリジェントシステムを比類のないレベルで制御・カスタマイズできるようにすることを目指しています。
Thinking Machinesの最初の製品である「Inkling」は、9750億パラメータという圧倒的な規模を誇ります。この驚異的なスケールは、洗練されたMixture-of-Experts (MoE)アーキテクチャによって管理されており、各トークンに対してアクティブに使用されるパラメータは410億に抑えられ、パワーと計算効率のバランスが図られています。Apache 2.0ライセンスの下でリリースされたInklingの全ウェイトは、Hugging Faceで公開されています。
重要な点として、Thinking MachinesはInklingを汎用AIの競合としてではなく、戦略的な基盤モデルとして位置づけています。あらゆる広範なベンチマークで最高性能を発揮するわけではありませんが、その設計は専門的なアプリケーションの出発点として優れています。Inklingの真の可能性は、Tinkerプラットフォームを通じてのみ提供されるカスタムファインチューニングによって引き出され、開発者は特定の高負荷タスクに対して高度に調整されたソリューションを作成できます。
文字起こしを介さず、音声を直接聴き取るAI
Inklingは、非テキスト入力の前処理を回避することで、従来のマルチモーダルモデルと一線を画しています。音声をテキストに書き起こしたり、別のビジョンエンコーダーで画像を記述したりするのではなく、生の音声をスペクトログラムとして、画像を40x40ピクセルのパッチとして直接取り込みます。これらは、統一された表現空間内でテキストトークンとともに処理されます。
この新しいアーキテクチャは、リッチな感覚データをテキストの中間形式に変換する際に必然的に発生する情報損失や圧縮を理論上最小限に抑えます。これにより、Inklingは単なる意味内容だけでなく、話し方といった音のニュアンスまで知覚することが可能になります。
Thinking Machinesは、Inklingの一般的なパフォーマンスについて透明性を保っています。指示追従性能ではGLM 5.2を上回っていますが（79.8対73.3）、Terminal-Benchのエージェントタスクでは大幅に下回っています（63.8対82.7）。これは、直接的なコマンドの実行には長けているものの、自律的な問題解決能力は弱いことを示しています。
こうしたベンチマーク結果は、Inklingが汎用機ではなくファインチューニングのスペシャリストとして設計されていることを裏付けています。その強みは、広範な教師なし推論ではなく、ニュアンスのある音声や視覚入力を伴うような、極めて具体的かつ高ボリュームなタスクに対して、堅牢で生データを認識できる基盤を提供することにあります。
なぜファインチューニングがInklingの真の強みなのか
Inklingの真の力は、生の汎用性能ではなく、ファインチューニングを通じて発揮されます。このプロセスは、新しい事実知識を教え込むのではなく、モデルに「どのように応答すべきか」を教え、トーン、形式、特定の出力構造への準拠を形成するものです。
例えば、Harvey AIは、より小さなモデルをファインチューニングして法的引用を抽出しました。この特化型モデルは、F1スコアが0.56から0.68に向上しました。また、93%のケースでGPT-4.0と同等以上の性能を発揮しつつ、より高速かつコスト効率の高い運用を実現しました。
Thinking MachinesのTinkerプラットフォームは、このカスタマイズを効率化し、タスク固有の適応を迅速に行えるようにします。説得力のあるデモでは、Inklingが「epsilonphobia（文字『e』を一切使わない）」を示すように自らを微調整する様子が披露されました。モデルに学習データを自動修正させ、微調整プロセス全体を実行させることで、言語的な制約があるにもかかわらず、驚くほど意味の通る回答を生成しました。
この効率性を支えているのがLow-Rank Adaptation (LoRA)です。LoRAは、元の9750億のパラメータを固定し、軽量で小さな行列を挿入することで、新しい特定のデータを学習します。このアプローチにより、モデル全体を再学習する場合と比較して、カスタマイズのコストと速度が劇的に改善され、ニッチなアプリケーションでも特化型AIを利用できるようになります。
このようなターゲットを絞った適応により、企業は大量かつ狭い範囲のタスクに対して、高度に専門化されたエージェントを作成できます。Inklingのオープンウェイトアーキテクチャや詳細に興味がある方は、thinkingmachines/Inkling - Hugging Faceのリソースをご覧ください。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
Inklingはいつ使うべきか？
Inklingは汎用的な作業用モデルとして設計されていません。Thinking Machinesの開発チームも、Terminal-Benchのような広範なベンチマークにおける性能が、最先端モデルに及ばないことを公に認めています。広範囲で専門化されていないタスクには、既存のクローズドソースAIが依然として最適です。しかし、堅牢なラベル付きデータに裏打ちされた、狭く大量のタスクにおいては、ディープな微調整のために構築されたInklingが強力な選択肢となります。
Tinkerプラットフォームにおいて、Inklingは2つのユニークなニッチを切り拓いています。1つ目は、raw audioをスペクトログラムとして直接処理できる唯一のモデルである点です。これにより、テキストへの書き起こしで生じるデータ損失を回避できます。この直接的なアプローチにより、音の固有特性に対する前例のない分析が可能になります。さらに、ユーザーはthinking effortを0〜1の細かなスライダーで調整でき、他のモデルで見られる一般的な「低・中・高」の設定をはるかに超える制御が可能です。
Inklingを選択するかどうかは、アプリケーションの専門性に依存します。医療用ディクテーションにおいて複雑な薬品名を習得したり、発話のニュアンスを識別するために高度な音声スタイル分類を行うなど、専門的な音声タスクで優れた能力を発揮します。深いカスタマイズ、直接的な音声分析、そして正確で反復可能な機能のためのモデルのfine-tuningが主な目的である場合、Inklingは比類のないオープンウェイトソリューションを提供します。
よくある質問
Inkling AIモデルとは何ですか？
Inklingは、元OpenAI CTOのMira Muratiが設立したスタートアップ、Thinking Machinesによる9750億パラメータのオープンウェイトMixture-of-Experts (MoE) モデルです。主に特定のタスクに対する微調整を目的として設計されています。
Inklingは音声や画像をどのように処理しますか？
音声や画像をテキスト記述に変換するモデルとは異なり、Inklingは生データを直接処理します。音声をスペクトログラムとして、画像をピクセルパッチとして取り込み、それらをテキストトークンと混合することで、データ損失を減らし、忠実度を向上させています。
InklingはGPT-4より優れていますか？
InklingはGPT-4よりも強力な汎用モデルになるようには設計されていません。その強みは、狭く特定のタスクに対して微調整を行うための非常に効果的なベースモデルである点にあります。カスタマイズされたバージョンは、精度と効率の両面で汎用モデルを上回ることができます。
Tinkerプラットフォームとは何ですか？
Tinkerは、InklingのようなAIモデルをカスタマイズおよび微調整するために設計されたThinking Machinesのプラットフォームです。LoRAのような技術を使用して、コスト効率の高いトレーニングを行い、モデルを特定のタスクに適応させるプロセスを簡素化します。