Tag

#Inference

6 件

AIが自社チップを設計

OpenAIが自社のAIモデルを活用して設計した初のカスタムAIチップを発表しました。この動きは、AIラボが新たなハードウェアの巨人へと変貌を遂げる、巨大なパワーシフトを示唆しています。

企業は隠れたAIコストに数百万ドルを密かに費やしています。「モデルルーティング」というシンプルな戦略により、品質を犠牲にすることなく請求額を40%以上削減できます。

OpenAIは、Nvidiaの支配から脱却するための大胆な一歩として、初のカスタムAIチップ「Jalapeño」を発表しました。この特殊なプロセッサは、AI推論を驚くほど高速かつ安価にすること、そしてChatGPTで嫌われる遅延を潜在的に排除すること、ただそれだけのために作られています。

あなたのLLMのメモリは時限爆弾であり、パフォーマンスを低下させ、コストを膨らませています。「Speculative KV Coding」と呼ばれる新しい技術は、品質を損なうことなくメモリを4倍に縮小できます。

Xiaomiは、標準的なGPUで1秒あたり1,000トークン以上を生成し、GPT-4を凌駕するAIモデルを発表しました。「model-system codesign」におけるこの画期的な進歩は、リアルタイムAIアプリケーションを根本的に変える可能性があります。

NVIDIAはライバル企業に200億ドルを投資しましたが、これは伝統的な買収ではありませんでした。AIの速度の未来を再定義するこの取引の裏側と、なぜジェンセン・ハンは他の人々がチェッカーをプレイしている間にチェスをしているのかをお伝えします。