#KV cache

DeepSeek의 메모리 트릭이 AI 비용을 재정의할 수 있다

AI 경쟁은 대부분의 사용자가 보지 못하는 자원, 즉 대화를 원활하게 유지하기 위해 필요한 메모리에 달려 있을지도 모릅니다. 한 가지 아키텍처 선택이 긴 컨텍스트 모델을 대규모로 서비스할 수 있는 주체를 재편할 수 있습니다.