overview
MiMo V2.5 Pro UltraSpeed란 무엇인가요?
MiMo V2.5 Pro UltraSpeed는 Xiaomi와 TileRT가 개발한 고속 추론 Mixture-of-Experts AI 모델로, 개발자, 엔지니어 및 연구자가 실시간 AI 애플리케이션을 실행할 수 있도록 합니다. 이 모델은 상용 GPU에서 1조 개 매개변수 모델이 초당 1000 tokens (TPS)를 넘어서도록 하며, 최대 1200 TPS의 최고치를 기록했습니다. 이 모델은 낮은 latency가 중요한 시나리오를 위해 특별히 설계된 MiMo-V2.5-Pro 모델의 고급 변형입니다. 개발 과정에는 MoE Experts의 FP4 Quantization 및 DFlash Speculative Decoding과 같은 혁신과 TileRT의 초저-latency inference 시스템을 통합하는 극단적인 모델-시스템 codesign이 포함되었습니다. 기본 모델인 MiMo-V2.5-Pro-FP4-DFlash는 양자화된 가중치와 DFlash 매개변수를 포함하여 Hugging Face에 오픈 소스화되어 있으며, 독립적인 커뮤니티 벤치마킹을 용이하게 합니다.
