모든 답변 뒤에 숨겨진 메모리 비용
거대 언어 모델은 한 번에 한 단어, 즉 토큰(token) 단위로 응답을 생성합니다. 각 새로운 토큰을 생성하기 위해 모델은 이전 출력과 초기 프롬프트를 고려해야 합니다. 모델은 과거의 모든 토큰에 대해 어텐션을 재계산하는 대신, 이 정보를 Key-Value (KV) 캐시라는 전용 고속 메모리 영역에 저장합니다.
이 캐시는 효율적인 자기회귀적 생성을 가능하게 하지만, 처리되는 모든 토큰마다 확장됩니다. 더 많은 컨텍스트를 제공하는 긴 프롬프트는 KV 캐시를 직접적으로 팽창시킵니다. 다수의 사용자가 동시에 모델에 질의할 때, 각 세션은 고유한 캐시를 요구하며 이는 상당한 메모리 소비로 이어집니다.
이러한 방대한 메모리 요구량은 GPU의 HBM(High Bandwidth Memory)을 빠르게 고갈시킬 수 있습니다. 높은 동시성과 긴 컨텍스트 서비스 기간 동안, KV 캐시는 종종 모델의 정적 가중치보다 메모리 점유율에서 더 큰 비중을 차지하며 주요 병목 현상이 됩니다.
결과적으로 서버가 동시 요청을 처리하는 능력은 처리 성능이 아니라 KV 캐시를 위한 가용 HBM에 의해 제한되는 경우가 많습니다. 이러한 제약은 처리량에 직접적인 영향을 미치고 운영 비용을 상승시켜, 사소해 보이는 구현 세부 사항을 AI 제공업체에게는 주요 아키텍처 과제로 만듭니다.
DeepSeek의 MLA는 컨텍스트를 압축합니다
메모리 장벽에 대한 DeepSeek의 해답은 독창적인 압축 방식인 Multi-Head Latent Attention (MLA)입니다. MLA는 전체 크기의 Key 및 Value (KV) 상태를 캐시에 저장하는 대신, 이를 훨씬 더 작고 통합된 잠재 표현(latent representation)으로 투영합니다. 이는 메모리 점유율을 획기적으로 줄여줍니다.
MLA는 저차원 투영(low-rank projection)과 행렬 흡수(matrix absorption)를 사용합니다. Key와 Value는 저차원 벡터로 압축됩니다. 추론 중에 이 벡터들을 다시 확장하는 데 필요한 업-투영 행렬은 쿼리 계산에 직접 "흡수"됩니다. 이를 통해 모델은 더 큰 KV 상태를 메모리에 완전히 구현하지 않고도 압축된 잠재 표현을 사용하여 어텐션을 계산할 수 있습니다.
MLA의 핵심 구성 요소는 decoupled RoPE(Rotary Positional Embedding)입니다. 이 기술은 기본 KV 표현이 강력한 압축을 거치는 동안에도 토큰의 필수적인 위치 정보를 보존합니다. DeepSeek는 기존의 Multi-Head Attention 대비 KV 캐시 크기를 최대 93.3%까지 줄이고, HBM(High Bandwidth Memory)은 약 1/4, SSD 저장 공간은 1/8만 필요로 하는 인상적인 캐시 절감 효과를 보고했습니다.
이 수치들은 DeepSeek의 특정 아키텍처 선택을 반영한 것이며, 모든 트랜스포머 모델에 적용 가능한 보편적인 결과는 아닙니다. 그러나 MLA의 접근 방식은 대규모 AI 추론을 일반적으로 제약하는 증가하는 메모리 요구 사항으로부터 컨텍스트 길이를 분리하는 강력한 방법을 보여줍니다.
더 적은 HBM은 GPU당 더 많은 토큰을 의미할 수 있습니다
KV 캐시 점유율을 줄이는 것은 곧 서비스 용량 증가로 직결됩니다. 확보된 HBM은 특정 GPU 클러스터가 더 긴 토큰 컨텍스트를 지원하거나, 더 많은 동시 사용자 요청을 처리하거나, 더 높은 전체 처리량을 달성할 수 있게 합니다. 이러한 효율성은 거대 언어 모델 추론을 종종 제한하는 "메모리 장벽" 문제를 직접적으로 해결합니다.
Matthew Berman의 분석에 따르면 DeepSeek의 KV cache는 기존 방식 대비 HBM은 약 4분의 1, SSD 스토리지는 8분의 1만 필요로 하는 등 상당한 효율성을 보여줍니다. 공식 DeepSeek 논문에서는 표준 Multi-Head Attention (MHA)과 비교했을 때 KV-cache를 최대 93.3%까지 절감할 수 있다고 보고했습니다. 더 자세한 기술적 내용은 DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model을 참조하십시오.
이러한 메모리 절감은 AI 제공업체에 상당한 경제적 이점을 제공합니다. HBM 수요가 낮아지면 고가의 하드웨어 인프라에 대한 부담이 완화되어 운영 비용을 잠재적으로 줄일 수 있습니다. 메모리 효율성이 중요한 요소이긴 하지만, 사용자에게 제공되는 최종 API 가격은 다음과 같은 다른 변수들에 의해서도 결정됩니다:
- 컴퓨팅 활용도
- 네트워킹 오버헤드
- 서빙 소프트웨어 최적화
따라서 DeepSeek의 MLA가 대규모 AI를 위한 보다 경제적인 경로를 제시하는 것은 사실이나, 최종 사용자가 체감하는 정확한 비용 절감액은 제공업체의 전체 시스템 설계에 따라 달라질 것입니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
효율성 달성에는 엔지니어링 측면의 트레이드오프가 존재합니다
Multi-Head Latent Attention (MLA)을 구현하려면 Grouped-Query Attention (GQA)과 같은 표준 접근 방식보다 더 전문적인 엔지니어링이 필요합니다. 개발자는 종종 커스텀 커널을 생성하고 특정 서빙 프레임워크 지원을 통합해야 하므로, 기성 어텐션 메커니즘에 비해 배포 복잡성이 증가합니다.
중요한 점은 MLA의 메모리 혁신이 모델의 핵심 파라미터가 아닌 KV cache를 대상으로 한다는 것입니다. DeepSeek의 더 광범위한 효율성 스택에는 추론 중 파라미터 활성화를 최적화하는 희소(sparse) Mixture-of-Experts (MoE) 아키텍처도 포함되어 있습니다. 이들은 서로 다른 최적화 방식입니다. MoE는 활성 파라미터를 줄이고, MLA는 어텐션 캐시 저장 공간을 축소합니다.
결국 MLA와 같은 아키텍처 효율성 혁신은 가용 하드웨어 용량을 확장하지만, 고대역폭 메모리(HBM)에 대한 접근성은 여전히 중요한 요소로 남아 있습니다. Multi-Head Attention 대비 KV cache HBM 수요를 최대 93.3%까지 줄이는 DeepSeek의 접근 방식은 영리한 설계가 대규모 언어 모델 서빙의 실질 비용을 크게 낮출 수 있음을 보여줍니다. 이를 통해 제공업체는 GPU당 더 많은 토큰을 처리할 수 있게 되어 운영 비용에 직접적인 영향을 미칩니다.
DeepSeek-V2 및 DeepSeek-V3에 대한 DeepSeek의 기술 보고서는 이러한 방법과 그에 따른 트레이드오프에 대한 심층적인 탐구를 제공합니다. 하드웨어 접근성이 여전히 기술적 한계를 정의하지만, 아키텍처 혁신은 고급 AI 추론을 대중화하는 강력한 수단이 됩니다.
자주 묻는 질문
AI 추론에 KV cache가 필요한 이유는 무엇인가요?
KV cache는 이전 토큰의 키(key) 및 값(value) 상태를 저장하여, 모델이 전체 컨텍스트를 다시 계산하지 않고도 다음 토큰을 생성할 수 있도록 합니다.
DeepSeek의 MLA는 어떻게 KV cache 메모리를 줄이나요?
Multi-Head Latent Attention은 전체 상태를 저장하는 대신 캐싱할 수 있는 더 작은 잠재 표현(latent representation)으로 키와 값 정보를 압축합니다.
MLA를 사용하면 DeepSeek 모델을 실행하는 비용이 더 저렴해지나요?
메모리 압박을 줄이고 서빙 효율성을 개선할 수 있지만, 총비용은 컴퓨팅, 하드웨어, 소프트웨어 및 워크로드에 따라 달라집니다.
DeepSeek는 KV cache를 SSD에 저장하나요?
일부 서빙 시스템은 캐시된 데이터를 위해 보조 스토리지를 사용할 수 있지만, 이는 MLA의 모델 KV cache 압축과는 별개의 개념입니다.