overview
MiMo V2.5 Pro UltraSpeedとは?
MiMo V2.5 Pro UltraSpeedは、XiaomiとTileRTが開発した高速推論Mixture-of-Experts AIモデルであり、開発者、エンジニア、研究者がリアルタイムAIアプリケーションを実行できるようにします。コモディティGPUで1兆パラメータモデルを1秒あたり1000トークン (TPS) 以上で実行し、報告されているピークは最大1200 TPSです。このモデルは、低レイテンシが重要となるシナリオ向けに特別に設計されたMiMo-V2.5-Proモデルの高度なバリアントです。その開発には、MoE ExpertsのFP4 QuantizationやDFlash Speculative Decodingなどの革新技術をTileRTの超低レイテンシ推論システムと組み込んだ、極端なモデル・システム協調設計が含まれています。ベースモデルであるMiMo-V2.5-Pro-FP4-DFlashは、量子化された重みとDFlashパラメータを含め、Hugging Faceでオープンソース化されており、独立したコミュニティによるベンチマークを容易にしています。
