overview
Qu'est-ce que MiMo V2.5 Pro UltraSpeed ?
MiMo V2.5 Pro UltraSpeed est un modèle d'IA Mixture-of-Experts de raisonnement à haute vitesse développé par Xiaomi et TileRT qui permet aux développeurs, ingénieurs et chercheurs d'exécuter des applications d'IA en temps réel. Il propulse un modèle à 1 billion de paramètres au-delà de 1000 tokens par seconde (TPS) sur des GPU grand public, avec des pics signalés allant jusqu'à 1200 TPS. Ce modèle est une variante avancée du modèle MiMo-V2.5-Pro, spécifiquement conçu pour les scénarios où une faible latence est critique. Son développement a impliqué une co-conception extrême modèle-système, intégrant des innovations telles que la FP4 Quantization des MoE Experts et le DFlash Speculative Decoding, aux côtés du système d'inférence à ultra-faible latence de TileRT. Le modèle de base, MiMo-V2.5-Pro-FP4-DFlash, est open-source sur Hugging Face, incluant les poids quantifiés et les paramètres DFlash, facilitant l'évaluation comparative indépendante par la communauté.
