overview
Descripción general de Run:ai Inference
Run:ai Inference es un potente orquestador de cargas de trabajo en GPU diseñado específicamente para implementar cargas de trabajo de Triton y TensorRT en clústeres. Asegura que tus tareas de inferencia se gestionen de manera eficiente, dando prioridad a las aplicaciones orientadas al cliente para un rendimiento óptimo.
- Implementación optimizada para aplicaciones de IA.
- Soporta múltiples marcos de aprendizaje automático.
- Nativo de Kubernetes para una orquestación superior.
