Google CloudがOpenAIモデルをホスティング

RecursiveがApache-2.0ライセンスのコーディングMoEモデル「Flint」をリリースしました。合計400億のパラメータと262Kトークンという巨大なコンテキストウィンドウを持ち、より重いクラウドベースのエージェントを補完するためにローカルで実行されるよう明示的に設計されています。

開発ワークフローを最先端のクラウドAPIに完全に依存することは、レイテンシーとダウンタイムを招くことになります。Flintは、独自のロジックをネットワーク経由で送信することなく、単一のプロンプトでコードベース全体を処理できる、非常に有能なローカル代替手段を提供します。

パフォーマンスが仕様通りであれば、これはローカルファースト開発にとって明確な勝利です。クラウドプロバイダーはあなたのキーストロークに対する独占を失い、開発者はコンテキストを実際に理解する信頼性の高いプライベートな代替手段を手に入れます。

AIインフラプラットフォームのModalが、年間経常収益（ARR）10億ドルのマイルストーンを達成しました。この成長を背景に、7億5000万ドルのシリーズD資金調達ラウンドを確保し、同社の評価額は驚異的な160億ドルに達しました。

基盤モデルの構築者は理論的な知能を追い求めて数十億ドルを費やす一方で、インフラプロバイダーは静かに現金を稼いでいます。Modalの巨額のシリーズDは、スケーラブルで「ただ動く」AIコンピューティングに対する飽くなき、そして極めて実用的な需要を浮き彫りにしています。

ここでの勝者は、ピック・アンド・シャベル（つるはしとシャベル）を提供する企業です。AIアプリケーションを構築しているなら、Modalの潤沢な資金は、より安定した専門的なインフラが提供されることを意味します。敗者は、AI展開パイプライン全体をデフォルトで所有できると考えていた汎用クラウドプロバイダーです。

Mirendilは、たった一人の研究者が3.5ヶ月で最初の基盤モデルを構築したと主張しています。さらに驚くべきことに、この事前学習にかかった計算コストは1000万ドル未満だったと会社は述べており、大規模モデル開発に必要なリソースが大幅に減少したことを示しています。

現在の一般的な認識では、競争力のある基盤モデルのトレーニングには大規模なチームと9桁の計算予算が必要とされています。Mirendilの主張は、その前提に直接異議を唱え、アルゴリズムの効率性と集中的な実行が力ずくの資本に取って代わることができる可能性を示唆しています。

AI経済学のルールを書き換える前に、モデルの実際の能力について独立した検証が必要です。しかし、もしこれが検証されれば、ゼロからカスタムモデルをトレーニングするための参入障壁は劇的に低くなります。

PerplexityとNVIDIAは、共同の教師-生徒型事後学習手法「JOLT」を発表しました。この技術は、教師モデルを結果報酬を用いてトレーニングし、同時に生徒モデルの挙動からの過度な逸脱にペナルティを課すことで、自己蒸留の既知の弱点に対処します。

大規模モデルを展開可能なサイズに蒸留すると、推論品質が失われることがよくあります。JOLTは教師と生徒を連携して学習させることで、ベンチマークでのパフォーマンスを向上させ、効率的で本番環境に対応したモデルを作成するためのより安定したパイプラインを構築します。

これは、最先端モデルの推論コストを支払うことなく、高品質な出力を提供しようとしているチームにとって非常に実用的な進展です。より良い蒸留は、意図されたタスクを実際に実行する、より小さく安価なモデルを意味します。

DeepSeekは、モデル推論のための高度な本番スケジューリング技術を公開する新しいフレームワーク「DeepInfer」をリリースしました。このシステムは、投機的デコーディング、動的なプリフィルサイズ調整、およびその他の最適化手法を組み合わせて、スループットを最大化します。

大規模言語モデルを大規模に提供することは、インフラの悪夢です。DeepSeekは、社内で使用しているスケジューリングロジックをオープンソース化することで、独立した開発者が本番環境でのレイテンシーと計算コストを大幅に削減するためのツールを提供しています。

これはインフラチームにとって大きな勝利です。主要なラボがどのようにして推論速度を達成しているかをリバースエンジニアリングする必要はもうありません。DeepInferの動的なプリフィルサイズ調整を実装することは、大規模にモデルを実行している人にとって最優先事項となるでしょう。

研究者たちは、大規模言語モデルに文化に関する自由形式の質問をすると、日本のような国に対して明確なバイアスを示すことを発見しました。この文化的偏りは基盤モデルには現れず、教師ありファインチューニング後に特に出現します。

私たちはファインチューニングをモデルを人間の価値観に合わせるメカニズムとして扱いますが、誰の価値観が舵を取っているのかを問うことはめったにありません。この研究は、アライメントプロセスが意図せず特定の文化的嗜好をモデルの世界観に注入していることを証明しています。

もしあなたがグローバルなコンテンツ生成や偏りのない文化分析のためにLLMに依存しているのであれば、この傾向を考慮に入れる必要があります。モデルは客観的な観察者ではなく、それらをトレーニングしたアノテーターの特定の、地域的な好みを反映しているのです。