La facture de mémoire cachée derrière chaque réponse
Les Large language models génèrent des réponses un mot, ou token, à la fois. Pour produire chaque nouveau token, le modèle doit prendre en compte sa sortie précédente et le prompt initial. Plutôt que de recalculer l'attention pour chaque token passé, les modèles stockent ces informations dans un Key-Value (KV) cache, une zone de mémoire dédiée à haute vitesse.
Ce cache permet une génération autorégressive efficace, mais il s'étend à chaque token traité. Les prompts plus longs, qui fournissent plus de contexte, gonflent directement le KV cache. Lorsque de nombreux utilisateurs interrogent un modèle simultanément, chaque session exige son propre cache, ce qui entraîne une consommation de mémoire substantielle.
Cet appétit vorace pour la mémoire peut rapidement épuiser la High Bandwidth Memory (HBM) d'un GPU. Pendant les périodes de forte concurrence et de service à long contexte, le KV cache devient souvent le principal goulot d'étranglement, éclipsant les poids statiques du modèle dans son empreinte mémoire.
Par conséquent, la capacité d'un serveur à gérer des requêtes simultanées est souvent limitée non pas par la puissance de traitement, mais par la HBM disponible pour le KV cache. Cette contrainte impacte directement le débit et augmente les coûts opérationnels, transformant un détail d'implémentation apparemment mineur en un défi architectural majeur pour les fournisseurs d'IA.
Le MLA de DeepSeek compresse le contexte
La réponse de DeepSeek au mur de la mémoire est le Multi-Head Latent Attention (MLA), un schéma de compression ingénieux. Au lieu de stocker des états Key et Value (KV) pleine taille dans le cache, le MLA les projette dans des représentations latentes unifiées nettement plus petites. Cela réduit considérablement l'empreinte mémoire.
Le MLA utilise la low-rank projection et l'absorption matricielle. Les clés et les valeurs sont compressées en un vecteur de faible dimension. Lors de l'inférence, les matrices de projection vers le haut nécessaires pour ré-étendre ces vecteurs sont "absorbées" directement dans le calcul de la requête. Cela permet au modèle de calculer l'attention en utilisant la représentation latente compacte sans jamais matérialiser complètement les états KV plus grands en mémoire.
Un composant essentiel du MLA est son decoupled RoPE (Rotary Positional Embedding). Cette technique préserve les informations positionnelles vitales des tokens même lorsque leurs représentations KV sous-jacentes subissent une compression agressive. DeepSeek rapporte des économies de cache impressionnantes, réduisant la taille du KV cache jusqu'à 93,3 % par rapport au Multi-Head Attention traditionnel, et ne nécessitant qu'environ 1/4 de la HBM (High Bandwidth Memory) et 1/8 du stockage SSD.
Ces chiffres reflètent les choix architecturaux spécifiques de DeepSeek ; ce ne sont pas des résultats universels applicables à tous les modèles transformer. Cependant, l'approche du MLA démontre une méthode puissante pour dissocier la longueur du contexte des exigences de mémoire croissantes qui limitent généralement l'inférence de l'IA à grande échelle.
Moins de HBM peut signifier plus de tokens par GPU
Réduire l'empreinte du KV-cache se traduit directement par une augmentation de la serving capacity. La HBM libérée permet à un parc de GPU donné de prendre en charge des contextes de tokens plus longs, de gérer davantage de requêtes d'utilisateurs simultanées ou d'atteindre un débit global plus élevé. Cette efficacité répond directement au "mur de la mémoire" qui limite souvent l'inférence des Large language models.
L'analyse de Matthew Berman souligne des gains significatifs, notant que le KV cache de DeepSeek nécessite environ un quart de la mémoire HBM et un huitième du stockage SSD par rapport aux méthodes conventionnelles. Le document officiel de DeepSeek rapporte des chiffres encore plus impressionnants, documentant jusqu'à 93,3 % de réduction du KV-cache par rapport à l'attention multi-têtes standard (MHA) dans le cadre de sa comparaison. Pour plus de détails techniques, explorez DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model.
Ces économies de mémoire offrent des avantages économiques substantiels pour les fournisseurs d'IA. Une demande réduite en HBM peut alléger la pression sur les infrastructures matérielles coûteuses, réduisant potentiellement les coûts opérationnels. Bien que l'efficacité de la mémoire soit un facteur critique, le prix final de l'API pour les utilisateurs dépend également d'autres variables :
- Utilisation du calcul
- Surcharge réseau
- Optimisations des logiciels de service
Ainsi, bien que le MLA de DeepSeek promette une voie plus économique vers l'IA à grande échelle, les économies de coûts précises pour les utilisateurs finaux varieront en fonction de la conception globale du système du fournisseur.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Le gain d'efficacité comporte des compromis techniques
La mise en œuvre du Multi-Head Latent Attention (MLA) nécessite une ingénierie plus spécialisée que les approches standard comme le Grouped-Query Attention (GQA). Les développeurs doivent souvent créer des noyaux personnalisés et intégrer un support spécifique pour les frameworks de service, ce qui augmente la complexité du déploiement par rapport aux mécanismes d'attention prêts à l'emploi.
Il est crucial de noter que la percée de mémoire du MLA cible le KV cache, et non les paramètres principaux du modèle. La pile d'efficacité plus large de DeepSeek comprend également des architectures Mixture-of-Experts (MoE) clairsemées, qui optimisent l'activation des paramètres pendant l'inférence. Ce sont des optimisations distinctes : le MoE réduit les paramètres actifs, tandis que le MLA réduit le stockage du cache d'attention.
En fin de compte, les innovations en matière d'efficacité architecturale comme le MLA étendent la capacité matérielle disponible, mais l'accès à la mémoire à large bande passante (HBM) reste un facteur critique. L'approche de DeepSeek, qui réduit la demande en HBM du KV cache jusqu'à 93,3 % par rapport au Multi-Head Attention, démontre qu'une conception intelligente peut réduire considérablement le coût effectif du service des grands modèles de langage. Cela permet aux fournisseurs de servir plus de jetons par GPU, ce qui a un impact direct sur les dépenses opérationnelles.
Les rapports techniques de DeepSeek pour DeepSeek-V2 et DeepSeek-V3 offrent des explorations approfondies de ces méthodes et de leurs compromis associés. Bien que l'accès au matériel définisse toujours la frontière, l'innovation architecturale offre un levier puissant pour démocratiser l'inférence IA avancée.
Questions fréquemment posées
Pourquoi l'inférence IA a-t-elle besoin d'un KV cache ?
Le KV cache stocke les états des clés et des valeurs des jetons précédents, afin qu'un modèle puisse générer le jeton suivant sans recalculer tout le contexte.
Comment le MLA de DeepSeek réduit-il la mémoire du KV cache ?
Le Multi-Head Latent Attention compresse les informations de clé et de valeur dans une représentation latente plus petite qui peut être mise en cache au lieu de stocker des états complets.
Le MLA rend-il les modèles DeepSeek moins chers à exécuter ?
Il peut réduire la pression sur la mémoire et améliorer l'efficacité du service, mais le coût total dépend également du calcul, du matériel, du logiciel et de la charge de travail.
DeepSeek stocke-t-il son KV cache sur SSD ?
Certains systèmes de service peuvent utiliser un stockage secondaire pour les données mises en cache, mais cela est distinct de la compression du KV cache du modèle par le MLA.