overview
O que é MiMo V2.5 Pro UltraSpeed?
MiMo V2.5 Pro UltraSpeed é um modelo de IA Mixture-of-Experts de raciocínio de alta velocidade desenvolvido pela Xiaomi e TileRT que permite a desenvolvedores, engenheiros e pesquisadores executar aplicações de IA em tempo real. Ele impulsiona um modelo de 1 trilhão de parâmetros para além de 1000 tokens por segundo (TPS) em commodity GPUs, com picos relatados de até 1200 TPS. Este modelo é uma variante avançada do modelo MiMo-V2.5-Pro, especificamente projetado para cenários onde a baixa latency é crítica. Seu desenvolvimento envolveu extreme model-system codesign, incorporando inovações como FP4 Quantization de MoE Experts e DFlash Speculative Decoding, juntamente com o sistema de inference de ultra-baixa latency da TileRT. O modelo base, MiMo-V2.5-Pro-FP4-DFlash, é de código aberto no Hugging Face, incluindo quantized weights e DFlash parameters, facilitando o benchmarking independente da comunidade.
