overview
Что такое MiMo V2.5 Pro UltraSpeed?
MiMo V2.5 Pro UltraSpeed — это высокоскоростная модель ИИ Mixture-of-Experts, разработанная Xiaomi и TileRT, которая позволяет разработчикам, инженерам и исследователям выполнять ИИ-приложения в реальном времени. Она позволяет модели с 1 триллионом параметров достигать более 1000 токенов в секунду (TPS) на обычных GPU, с заявленными пиками до 1200 TPS. Эта модель является продвинутым вариантом модели MiMo-V2.5-Pro, специально разработанной для сценариев, где низкая задержка имеет решающее значение. Ее разработка включала экстремальное совместное проектирование модели и системы, включающее такие инновации, как FP4 Quantization of MoE Experts и DFlash Speculative Decoding, наряду с системой вывода с ультранизкой задержкой TileRT. Базовая модель MiMo-V2.5-Pro-FP4-DFlash имеет открытый исходный код на Hugging Face, включая квантованные веса и параметры DFlash, что облегчает независимое тестирование сообществом.
