Tag

#Inference

9 件

AMDのAIチップは後戻りできない片道切符

AMDはNVIDIAの最高性能チップより48倍高速なAIチップを買収したが、致命的な欠陥がある。この「更新不可」なシリコンへの賭けは、AIハードウェアを再定義するか、あるいは業界で最も高価な文鎮と化すかのどちらかだ。

数千億のパラメータを持つ最先端のAIモデルを実行することは、データセンターを持たない人にとっては夢物語でした。しかし、新しいオープンソースエンジンがその常識を覆しました。VRAMを増やすのではなく、VRAMをCPUキャッシュのように扱うことで実現しています。

AIはかつて不可能と思われていた速度に達していますが、ハードウェアが追いついていないという落とし穴があります。静かなボトルネックはAIモデルではなく、あなたのデスクにあるマシンそのものです。

OpenAIが自社のAIモデルを活用して設計した初のカスタムAIチップを発表しました。この動きは、AIラボが新たなハードウェアの巨人へと変貌を遂げる、巨大なパワーシフトを示唆しています。

企業は隠れたAIコストに数百万ドルを密かに費やしています。「モデルルーティング」というシンプルな戦略により、品質を犠牲にすることなく請求額を40%以上削減できます。

OpenAIは、Nvidiaの支配から脱却するための大胆な一歩として、初のカスタムAIチップ「Jalapeño」を発表しました。この特殊なプロセッサは、AI推論を驚くほど高速かつ安価にすること、そしてChatGPTで嫌われる遅延を潜在的に排除すること、ただそれだけのために作られています。

あなたのLLMのメモリは時限爆弾であり、パフォーマンスを低下させ、コストを膨らませています。「Speculative KV Coding」と呼ばれる新しい技術は、品質を損なうことなくメモリを4倍に縮小できます。

Xiaomiは、標準的なGPUで1秒あたり1,000トークン以上を生成し、GPT-4を凌駕するAIモデルを発表しました。「model-system codesign」におけるこの画期的な進歩は、リアルタイムAIアプリケーションを根本的に変える可能性があります。

NVIDIAはライバル企業に200億ドルを投資しましたが、これは伝統的な買収ではありませんでした。AIの速度の未来を再定義するこの取引の裏側と、なぜジェンセン・ハンは他の人々がチェッカーをプレイしている間にチェスをしているのかをお伝えします。