overview
Potencia tus aplicaciones móviles
OctoAI Mobile Inference permite a los desarrolladores desplegar modelos de lenguaje grande (LLMs) en dispositivos móviles y de borde sin esfuerzo. Con optimización de modelos integrada, puedes mejorar el rendimiento mientras conservas recursos.
- Compresión automática de modelos, cuantificación y poda.
- Soporte para diferentes marcos de inteligencia artificial.
- Optimizado tanto para latencia como para costo.
