Скрытые механизмы «мышления» LLM

Представьте простую модель, предсказывающую цены на жилье: 1000 квадратных футов, умноженные на выученный вес (weight) 300, дают результат в 300 000 долларов. Настоящие нейронные сети масштабируют этот процесс, объединяя множество входных данных и весов на нескольких слоях. Выходные данные одного слоя становятся входными для следующего.

Эти вычислительные единицы называются нейронами (neurons), а все выученные значения — параметрами (parameters). Это простое умножение дает интуитивное понимание, но сильно упрощает сложность LLM. Передовая LLM, такая как Llama 3 405B, имеет 126 слоев; GPT-4, по оценкам, насчитывает от 96 до 128 слоев.

Стекирование слоев позволяет моделям изучать все более сложные закономерности. Хотя «около 100 слоев» иллюстрирует типичную глубину, конкретные архитектуры значительно различаются. Каждый слой преобразует входные данные, позволяя сети абстрагировать признаки из необработанной информации, подобно тому, как мы распознаем края объекта перед тем, как идентифицировать сам объект.

Текст начинает свой путь не как слова, а как токены (tokens) — числовые идентификаторы, представляющие распространенные фрагменты слов или знаки препинания. «Bank» может быть одним ID токена. Специализированная таблица поиска затем сопоставляет каждый ID токена с числовым эмбеддингом (embedding): вектором, или списком чисел, который обеспечивает полезное начальное представление для модели.

Рассмотрим слово «bank». Его значение кардинально меняется между «I sat on the river bank» (Я сидел на берегу реки) и «I put my money in the bank» (Я положил деньги в банк). Фиксированная словарная статья не может передать этот нюанс. Чтобы разрешить эту двусмысленность, модель должна учитывать окружающие слова.

Здесь в игру вступает причинно-следственное самовнимание (causal self-attention) — основной механизм архитектуры Transformer. Внутри каждого слоя каждый токен в заданной позиции может «обращать внимание» (attend) или извлекать информацию из всех предыдущих токенов в последовательности. Он динамически обновляет свое числовое представление, смешивая наиболее релевантные контекстные подсказки.

Для «bank» в «river bank» механизм внимания может придать большой вес слову «river», в то время как в «money in the bank» он сфокусируется на слове «money». Это контекстное смешивание гарантирует, что вектор токена точно отражает его специфическое использование. После прохождения примерно 100 таких слоев финальный эмбеддинг токена инкапсулирует полный контекст всего сообщения, позволяя модели делать высокоточные прогнозы для следующего токена.

Блок Transformer, основной вычислительный узел в LLM, выполняет две различные операции. Во-первых, механизм внимания (attention mechanism) смешивает информацию между позициями токенов. Это позволяет модели взвешивать релевантность каждого предыдущего слова по отношению к текущему, разрешая двусмысленности, например, относится ли «bank» к берегу реки или к финансовому учреждению, учитывая его соседей.

После того как внимание контекстуализирует токен, полносвязная сеть (feed-forward network, FFN) обрабатывает его вектор независимо. Рассматривайте FFN как детектор закономерностей: она берет скорректированное числовое представление «bank» и проверяет наличие встроенных паттернов, например: «Это связано с деньгами?». Если паттерн совпадает, FFN усиливает то, что модель узнала об этой конкретной концепции. Исследователи, такие как Geva et al., показали, что эти слои действуют как ассоциативная память, извлекая фактические ассоциации.

Хотя этот упрощенный взгляд отражает суть, реальные блоки transformer также включают в себя такие механизмы, как residual connections и слои нормализации. Эти компоненты, опущенные в аналогии видео для ясности, стабилизируют обучение и повышают производительность. Для более глубокого погружения в архитектуру transformer изучите основополагающую статью Attention Is All You Need. Современные LLM, такие как Llama 3 405B, используют до 126 таких слоев для создания сложных контекстуальных представлений.

После примерно 100 слоев внимания (attention) и полносвязных сетей (feed-forward networks) финальное контекстуальное представление модели для последней позиции токена поступает на выходной слой. Затем этот вектор преобразуется в logits: числовые оценки для каждого токена в словаре модели, количество которых может варьироваться от 32 000 до более чем 128 000 уникальных токенов. Функция softmax затем может преобразовать эти логиты в вероятности, указывающие на вероятность того, что каждый токен станет следующим словом.

Затем декодирование выбирает следующий токен. Хотя простой выбор токена с наибольшей вероятностью является одной из стратегий, продвинутые методы, такие как sampling, привносят элемент случайности, позволяя получать более разнообразные и креативные результаты в рамках распределения вероятностей. Этот единственный токен затем добавляется к входным данным, и весь процесс повторяется, генерируя следующий токен в последовательности.

Этот итеративный процесс «по одному токену за раз», известный как autoregressive generation, формирует весь ответ. Важно отметить, что модель не планирует весь свой ответ заранее; она предсказывает каждый токен на основе предыдущих. Хотя продвинутые модели рассуждения могут тратить больше вычислительных ресурсов во время вывода на генерацию промежуточных шагов или «мыслей», они все равно производят свой окончательный результат последовательно, токен за токеном.

Как LLM выбирает следующее слово?

Она вычисляет оценки для токенов в своем словаре на основе контекста, а затем выбирает токен в соответствии с этими оценками и настройками декодирования.

Что делает внимание (attention) в transformer?

Внимание позволяет представлению каждого токена опираться на релевантные токены в контексте, помогая модели различать такие значения, как «river bank» (берег реки) и «bank account» (банковский счет).

Думают ли LLM как люди?

Не в человеческом смысле. Стандартные LLM генерируют текст посредством изученных вычислений и предсказания следующего токена, хотя многошаговые результаты могут напоминать рассуждение.

Что такое параметры в LLM?

Параметры — это изученные числовые значения, включая веса, которые определяют, как модель преобразует входные данные и делает предсказания.