overview
¿Qué es MiMo V2.5 Pro UltraSpeed?
MiMo V2.5 Pro UltraSpeed es un modelo de IA Mixture-of-Experts de razonamiento de alta velocidad desarrollado por Xiaomi y TileRT que permite a desarrolladores, ingenieros e investigadores ejecutar aplicaciones de IA en tiempo real. Impulsa un modelo de 1 billón de parámetros a más de 1000 tokens por segundo (TPS) en commodity GPUs, con picos reportados de hasta 1200 TPS. Este modelo es una variante avanzada del modelo MiMo-V2.5-Pro, diseñado específicamente para escenarios donde la baja latencia es crítica. Su desarrollo implicó un codesign extremo modelo-sistema, incorporando innovaciones como FP4 Quantization de MoE Experts y DFlash Speculative Decoding, junto con el sistema de inference de ultra-baja latencia de TileRT. El modelo base, MiMo-V2.5-Pro-FP4-DFlash, es de código abierto en Hugging Face, incluyendo pesos cuantificados y parámetros DFlash, facilitando el benchmarking independiente de la comunidad.
