#Speculative Decoding

XiaomiのAIは信じられないほど高速

Xiaomiは、標準的なGPUで1秒あたり1,000トークン以上を生成し、GPT-4を凌駕するAIモデルを発表しました。「model-system codesign」におけるこの画期的な進歩は、リアルタイムAIアプリケーションを根本的に変える可能性があります。