O Mecanismo Oculto por trás do “Pensamento” de um LLM

Imagine um modelo básico prevendo preços de casas: 1.000 pés quadrados multiplicados por um peso aprendido de 300 resultam em uma saída de $300.000. Redes neurais reais escalam isso, combinando muitas entradas e pesos em várias camadas. A saída de uma camada torna-se a entrada para a próxima.

Essas unidades computacionais são neurônios, e todos os valores aprendidos são parâmetros. Essa multiplicação simples oferece uma intuição, mas subestima vastamente a complexidade de um LLM. Um LLM de fronteira como Llama 3 405B tem 126 camadas; estima-se que o GPT-4 tenha de 96 a 128 camadas.

Empilhar camadas permite que os modelos aprendam padrões cada vez mais intrincados. Embora "cerca de 100 camadas" ilustre uma profundidade comum, arquiteturas específicas variam significativamente. Cada camada transforma os dados de entrada, permitindo que a rede abstraia características a partir de informações brutas, assim como reconhecer bordas antes de identificar um objeto.

O texto começa sua jornada não como palavras, mas como tokens — IDs numéricos que representam fragmentos comuns de palavras ou pontuação. "Bank" pode ser um único ID de token. Uma tabela de consulta especializada então mapeia cada ID de token para um embedding numérico: um vetor, ou lista de números, que fornece uma representação inicial utilizável para o modelo.

Considere a palavra "bank". Seu significado muda drasticamente entre "I sat on the river bank" e "I put my money in the bank". Uma entrada de dicionário fixa não consegue capturar essa nuance. Para que o modelo resolva essa ambiguidade, ele deve considerar as palavras ao redor.

É aqui que entra a autoatenção causal, o mecanismo central da arquitetura fundamental Transformer. Dentro de cada camada, cada token em uma determinada posição pode "atentar" para, ou extrair informações de, todos os tokens anteriores na sequência. Ele atualiza dinamicamente sua representação numérica misturando as pistas contextuais mais relevantes.

Para "bank" em "river bank", o mecanismo de atenção pode dar um peso maior a "river", enquanto em "money in the bank", ele focaria em "money". Essa mistura contextual garante que o vetor do token reflita com precisão seu uso específico. Após cerca de 100 dessas camadas, o embedding final do token encapsula o contexto completo de toda a mensagem, permitindo que o modelo faça previsões altamente informadas para o próximo token.

Um bloco transformer, a unidade computacional central nos LLMs, realiza duas operações distintas. Primeiro, um mecanismo de atenção mistura informações entre as posições dos tokens. Isso permite que um modelo pondere a relevância de cada palavra anterior para a palavra atual, resolvendo ambiguidades como se "bank" se refere à margem de um rio ou a uma instituição financeira, ao considerar seus vizinhos.

Após a atenção contextualizar o token, uma rede feed-forward (FFN) processa seu vetor independentemente. Pense na FFN como um detector de padrões: ela pega a representação numérica ajustada de "bank" e verifica padrões incorporados, como "Isso é sobre dinheiro?". Se um padrão corresponde, a FFN amplifica o que o modelo aprendeu sobre aquele conceito específico. Pesquisadores como Geva et al. mostraram que essas camadas atuam como memórias associativas, recuperando associações factuais.

Embora esta visão simplificada capture a essência, os blocos de transformer reais também incorporam mecanismos como residual connections e camadas de normalização. Estes componentes, omitidos da analogia do vídeo para maior clareza, estabilizam o treinamento e melhoram o desempenho. Para aprofundar-se na arquitetura de transformer, explore o artigo seminal Attention Is All You Need. LLMs modernos como o Llama 3 405B utilizam até 126 dessas camadas para construir representações contextuais complexas.

Após cerca de 100 camadas de atenção e redes feed-forward, a representação contextual final do modelo para a última posição do token chega à camada de saída. Este vetor é então convertido em logits: pontuações numéricas para cada token no vocabulário do modelo, que podem variar de 32.000 a mais de 128.000 tokens únicos. Uma função softmax pode então transformar esses logits em probabilidades, indicando a probabilidade de cada token ser a próxima palavra.

A decodificação então seleciona o próximo token. Embora simplesmente escolher o token de maior probabilidade seja uma estratégia, métodos avançados como sampling introduzem um elemento de aleatoriedade, permitindo saídas mais diversas e criativas dentro da distribuição de probabilidade. Este único token é então anexado à entrada, e todo o processo se repete, gerando o próximo token na sequência.

Este processo iterativo, um token por vez, conhecido como autoregressive generation, constrói uma resposta inteira. Crucialmente, o modelo não planeja toda a sua resposta com antecedência; ele prevê cada token com base nos anteriores. Embora modelos de raciocínio avançados possam gastar mais computação em tempo de inferência gerando etapas intermediárias ou "pensamentos", eles ainda produzem sua saída final sequencialmente, token por token.

Como um LLM escolhe sua próxima palavra?

Ele calcula pontuações para os tokens em seu vocabulário com base no contexto e, em seguida, seleciona um token de acordo com essas pontuações e suas configurações de decodificação.

O que a atenção faz em um transformer?

A atenção permite que a representação de cada token utilize tokens relevantes no contexto, ajudando o modelo a distinguir significados como "river bank" (margem de rio) e "bank account" (conta bancária).

Os LLMs pensam como pessoas?

Não no sentido humano. LLMs padrão geram texto através de cálculos aprendidos e previsão do próximo token, embora saídas de múltiplas etapas possam se assemelhar ao raciocínio.

O que são parâmetros em um LLM?

Parâmetros são valores numéricos aprendidos, incluindo pesos, que moldam como o modelo transforma sua entrada e produz previsões.