overview
Qu'est-ce que Modular ?
Modular est une entreprise de plateforme de développement native de l'IA qui permet aux développeurs d'IA, aux développeurs d'applications et aux entreprises de construire une plateforme d'inférence d'IA unifiée, haute performance et portable. Elle vise à abstraire les complexités matérielles, permettant aux développeurs de déployer et de faire évoluer les modèles d'IA efficacement sur divers matériels. Modular fournit une plateforme d'inférence d'IA unifiée conçue pour un calcul portable et haute performance, optimisant les pipelines d'IA des noyaux GPU aux points d'API. Sa mission principale est de permettre aux développeurs d'exécuter des modèles d'IA ouverts populaires avec des performances GPU et CPU de pointe sans nécessiter de modifications de code, abstrayant ainsi la complexité matérielle. La plateforme prend en charge plus de 500 modèles d'IA de Hugging Face via une API REST compatible OpenAI et facilite la mise à l'échelle de services d'inférence GenAI massifs sur des milliers de nœuds GPU.
