У вашего AI-чат-бота нет памяти — вот в чем секрет

Чат-боты бегло ссылаются на детали из начала вашего разговора, создавая убедительную иллюзию памяти. Однако лежащая в основе большая языковая модель (LLM) сама по себе не обладает постоянным состоянием; она работает как stateless function (функция без сохранения состояния). Каждое взаимодействие — это новый запрос, лишенный личных воспоминаний о предыдущих беседах.

Основная задача LLM заключается в предсказании следующего токена исключительно на основе текущего ввода. Как только модель генерирует ответ и процесс вывода завершается, она не сохраняет это взаимодействие как личное воспоминание. Представьте это как калькулятор: он выполняет вычисление и отображает результат, но не «помнит» предыдущую сумму, когда вы вводите новую.

Континуитет беседы, который вы ощущаете, исходит от окружающего приложения, а не от скрытой внутренней памяти внутри LLM. Программные оболочки, такие как те, что используются в ChatGPT или Claude, достигают этого путем добавления всей истории разговора к каждому новому промпту. Это повторное внедрение прошлых обменов создает сложную иллюзию того, что модель помнит, хотя она просто обрабатывает постоянно растущий объем входных данных.

Приложения для чата достигают непрерывности диалога путем повторной отправки всей предыдущей истории переписки с каждым новым сообщением пользователя. Этот метод, часто называемый «context window stuffing» (наполнение контекстного окна), предоставляет LLM всю необходимую информацию для генерации связного ответа, создавая иллюзию памяти. Модель обрабатывает этот объединенный текст как единый расширенный промпт.

Для постоянного запоминания между сессиями приложение может хранить ключевые факты, предпочтения пользователя или прошлые взаимодействия в базе данных или файле. Когда пользователь возвращается, приложение извлекает эти сохраненные детали и вставляет их в начальный промпт, позволяя LLM ссылаться на предыдущую информацию. Это сохраненные данные, а не внутренняя память самой модели.

У этого трюка с памятью есть свои компромиссы. Постоянное включение длинных историй значительно увеличивает общее количество токенов, отправляемых с каждым сообщением, что повышает затраты на API. Context window (контекстное окно) LLM также накладывает жесткое ограничение на длину ввода, ограничивая глубину симулируемой памяти. Хотя кэширование промптов может оптимизировать повторяющиеся префиксы, оно не дает постоянной памяти самой модели.

В то время как ваше чат-приложение управляет воспроизведением разговора, сама Large Language Model (LLM) не обрабатывает ваши слова напрямую. Внутри LLM работают с числовыми представлениями, называемыми токенами. Прежде чем ваш текст попадет в модель, токенизатор преобразует его в последовательность этих ID токенов.

Токены — это не просто отдельные слова или символы; это фрагменты текста, которые обучающие данные модели определили как статистически значимые. Обычное слово, такое как «the», может стать одним токеном, но менее частое или сложное слово, например «unbelievable», может быть разбито на несколько более мелких фрагментов, таких как «un», «believe» и «able». Такая подсловесная токенизация позволяет моделям эффективно работать с огромным словарным запасом.

Понимание количества токенов имеет решающее значение, поскольку они напрямую влияют на лимиты контекстного окна и стоимость API. Как общее правило, 1000 токенов соответствуют примерно 750 английским словам, но это может варьироваться в зависимости от текста. Вы можете проверить точное количество токенов для любого текста с помощью таких инструментов, как OpenAI Tokenizer Tool. Этот процесс преобразования, хотя и незаметен для пользователя, является фундаментальным для того, как LLM интерпретируют и генерируют человеческий язык.

Имитация памяти влечет за собой реальные расходы. Провайдеры учитывают как входные, так и выходные токены для ценообразования и ограничения скорости; следовательно, повторная отправка всей растущей транскрипции с каждым новым сообщением делает длинные чаты более дорогими. Один типичный английский токен составляет в среднем около трех четвертей слова, поэтому разговор, занимающий несколько страниц, может быстро накопить тысячи токенов.

Добавление большего объема истории не гарантирует лучшего запоминания. Исследования показывают, что важные детали могут стать труднее для «восприятия» моделью, если они глубоко скрыты в массивном промпте — явление, которое иногда называют деградацией контекста. Механизм внимания модели, который масштабируется в зависимости от длины токенов, может испытывать трудности с эффективной оценкой всех частей чрезмерно длинного ввода.

Рассматривайте сохраненную память чат-бота как функцию приложения, отличную от основных возможностей LLM. Проверяйте, какие детали хранит сервис и как он использует их для информирования будущих взаимодействий. Понимание этого различия является ключом к эффективному использованию этих мощных, но не имеющих состояния систем.

Для дальнейшего чтения обратитесь к странице справки по памяти OpenAI и основополагающей статье "Attention Is All You Need."

Запоминают ли LLM предыдущие разговоры?

Модель не сохраняет разговор после завершения запроса. Приложение может хранить историю чата или данные пользователя и включать соответствующую информацию в последующие промпты.

Почему кажется, что чат-бот меня помнит?

Приложение чат-бота может повторно отправлять предыдущие сообщения или извлекать сохраненные данные, создавая ощущение непрерывности разговора, хотя сама модель не обладает постоянной памятью.

Что такое токены в LLM?

Токены — это числовые единицы, представляющие текст. Это могут быть целые общеупотребительные слова или фрагменты менее распространенных слов, и они влияют на лимиты модели и стоимость API.

Делает ли повторная отправка истории чата ИИ дороже?

Может. Когда приложение включает больше предыдущих сообщений с каждым запросом, использование входных токенов накапливается с каждым шагом, хотя кэширование может снизить стоимость повторяющегося текста.