Скрытые расходы на память за каждым ответом
Большие языковые модели генерируют ответы по одному слову, или токену, за раз. Чтобы создать каждый новый токен, модели необходимо учитывать предыдущий вывод и исходный запрос. Вместо того чтобы пересчитывать внимание (attention) для каждого предыдущего токена, модели хранят эту информацию в Key-Value (KV) cache — выделенной области высокоскоростной памяти.
Этот кэш обеспечивает эффективную авторегрессионную генерацию, но он расширяется с каждым обработанным токеном. Более длинные запросы, предоставляющие больше контекста, напрямую увеличивают KV cache. Когда множество пользователей одновременно отправляют запросы к модели, каждая сессия требует собственного кэша, что приводит к значительному потреблению памяти.
Этот «прожорливый» аппетит к памяти может быстро исчерпать High Bandwidth Memory (HBM) графического процессора. В периоды высокой конкурентности и обслуживания длинного контекста KV cache часто становится основным «узким местом», превосходя по объему занимаемой памяти статические веса самой модели.
Следовательно, способность сервера обрабатывать параллельные запросы часто ограничивается не вычислительной мощностью, а доступным объемом HBM для KV cache. Это ограничение напрямую влияет на пропускную способность и повышает операционные расходы, превращая, казалось бы, незначительную деталь реализации в серьезную архитектурную проблему для провайдеров ИИ.
MLA от DeepSeek сжимает контекст
Ответом DeepSeek на «стену памяти» является Multi-Head Latent Attention (MLA) — остроумная схема сжатия. Вместо хранения полноразмерных состояний Key и Value (KV) в кэше, MLA проецирует их в значительно меньшие унифицированные латентные представления. Это радикально сокращает объем занимаемой памяти.
MLA использует low-rank projection (низкоранговую проекцию) и матричное поглощение. Ключи и значения сжимаются в низкоразмерный вектор. Во время инференса матрицы up-projection, необходимые для восстановления этих векторов, «поглощаются» непосредственно в вычисление запроса (query). Это позволяет модели вычислять внимание, используя компактное латентное представление, без необходимости полной материализации больших KV-состояний в памяти.
Важным компонентом MLA является decoupled RoPE (Rotary Positional Embedding). Этот метод сохраняет жизненно важную информацию о позициях токенов, даже когда их базовые KV-представления подвергаются агрессивному сжатию. DeepSeek сообщает о впечатляющей экономии кэша: размер KV cache сокращается до 93,3% по сравнению с традиционным Multi-Head Attention, при этом требуется лишь около 1/4 объема HBM (High Bandwidth Memory) и 1/8 объема хранилища SSD.
Эти цифры отражают специфические архитектурные решения DeepSeek; они не являются универсальными результатами, применимыми ко всем моделям-трансформерам. Тем не менее, подход MLA демонстрирует мощный метод отделения длины контекста от растущих требований к памяти, которые обычно ограничивают масштабируемый инференс ИИ.
Меньше HBM может означать больше токенов на GPU
Сокращение объема KV-cache напрямую приводит к увеличению пропускной способности обслуживания. Освободившаяся HBM позволяет парку GPU поддерживать более длинные контексты токенов, обрабатывать больше одновременных запросов пользователей или достигать более высокой общей пропускной способности. Эта эффективность напрямую решает проблему «стены памяти», которая часто ограничивает инференс больших языковых моделей.
Анализ Matthew Berman подчеркивает значительные достижения, отмечая, что KV cache в DeepSeek требует примерно четверть объема HBM и одну восьмую объема SSD-памяти по сравнению с традиционными методами. В официальной статье DeepSeek приводятся еще более впечатляющие цифры: задокументировано сокращение KV-cache до 93,3% по сравнению со стандартным Multi-Head Attention (MHA) в рамках указанного сравнения. Дополнительные технические подробности можно найти в работе DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model.
Такая экономия памяти дает существенные экономические преимущества для провайдеров ИИ. Снижение спроса на HBM может уменьшить нагрузку на дорогостоящую аппаратную инфраструктуру, потенциально сокращая операционные расходы. Хотя эффективность использования памяти является критическим фактором, итоговая цена API для пользователей также зависит от других переменных:
- Использование вычислительных мощностей
- Сетевые накладные расходы
- Оптимизация программного обеспечения для обслуживания
Таким образом, хотя MLA от DeepSeek обещает более экономичный путь к крупномасштабному ИИ, точная экономия средств для конечных пользователей будет варьироваться в зависимости от общей архитектуры системы провайдера.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Выигрыш в эффективности имеет свои инженерные компромиссы
Внедрение Multi-Head Latent Attention (MLA) требует более специализированной инженерной проработки, чем стандартные подходы, такие как Grouped-Query Attention (GQA). Разработчикам часто приходится создавать пользовательские ядра (custom kernels) и интегрировать поддержку конкретных фреймворков обслуживания, что увеличивает сложность развертывания по сравнению с готовыми механизмами внимания.
Важно отметить, что прорыв MLA в области памяти нацелен на KV cache, а не на основные параметры модели. Более широкий стек эффективности DeepSeek также включает архитектуры разреженных Mixture-of-Experts (MoE), которые оптимизируют активацию параметров во время вывода. Это разные типы оптимизации: MoE сокращает количество активных параметров, а MLA уменьшает объем хранилища кэша внимания.
В конечном счете, архитектурные инновации, такие как MLA, расширяют доступную аппаратную емкость, но доступ к памяти с высокой пропускной способностью (HBM) остается критическим фактором. Подход DeepSeek, снижающий потребность в HBM для KV cache на величину до 93,3% по сравнению с Multi-Head Attention, доказывает, что продуманный дизайн может значительно снизить эффективную стоимость обслуживания больших языковых моделей. Это позволяет провайдерам обрабатывать больше токенов на один GPU, что напрямую влияет на операционные расходы.
Технические отчеты DeepSeek для DeepSeek-V2 и DeepSeek-V3 предлагают глубокое изучение этих методов и связанных с ними компромиссов. Хотя доступ к оборудованию по-прежнему определяет границы возможного, архитектурные инновации предоставляют мощный рычаг для демократизации передового ИИ-вывода.
Часто задаваемые вопросы
Зачем ИИ-выводу нужен KV cache?
KV cache хранит состояния ключей и значений (key and value states) от предыдущих токенов, чтобы модель могла генерировать следующий токен без повторного вычисления всего контекста.
Как MLA от DeepSeek сокращает память KV cache?
Multi-Head Latent Attention сжимает информацию о ключах и значениях в меньшее латентное представление, которое можно кэшировать вместо хранения полных состояний.
Делает ли MLA модели DeepSeek более дешевыми в эксплуатации?
Это может снизить нагрузку на память и повысить эффективность обслуживания, но общая стоимость также зависит от вычислений, оборудования, программного обеспечения и рабочей нагрузки.
Хранит ли DeepSeek свой KV cache на SSD?
Некоторые системы обслуживания могут использовать вторичное хранилище для кэшированных данных, но это отличается от сжатия KV cache модели с помощью MLA.