La fórmula de $300,000 detrás de la ilusión
Imagina un modelo básico que predice precios de viviendas: 1,000 pies cuadrados multiplicados por un weight aprendido de 300 arrojan un resultado de $300,000. Las redes neuronales reales escalan esto, combinando muchas entradas y pesos a través de múltiples capas. La salida de una capa se convierte en la entrada de la siguiente.
Estas unidades computacionales son neurons, y todos los valores aprendidos son parameters. Esta multiplicación simple ofrece una intuición, pero subestima enormemente la complejidad de un LLM. Un LLM de frontera como Llama 3 405B tiene 126 capas; se estima que GPT-4 tiene entre 96 y 128 capas.
Apilar capas permite a los modelos aprender patrones cada vez más intrincados. Si bien "alrededor de 100 capas" ilustra una profundidad común, las arquitecturas específicas varían significativamente. Cada capa transforma los datos de entrada, permitiendo que la red abstraiga características de la información bruta, de forma similar a reconocer bordes antes de identificar un objeto.
Por qué "bank" necesita las palabras que lo rodean
El texto comienza su viaje no como palabras, sino como tokens: identificadores numéricos que representan fragmentos comunes de palabras o puntuación. "Bank" podría ser un ID de token único. Una tabla de búsqueda especializada asigna entonces a cada ID de token un embedding numérico: un vector, o lista de números, que proporciona una representación inicial utilizable para el modelo.
Considera la palabra "bank". Su significado cambia drásticamente entre "I sat on the river bank" y "I put my money in the bank". Una entrada de diccionario fija no puede capturar este matiz. Para que el modelo resuelva esta ambigüedad, debe considerar las palabras circundantes.
Aquí es donde entra en juego el causal self-attention, el mecanismo central de la arquitectura Transformer fundamental. Dentro de cada capa, cada token en una posición determinada puede "atender" a, o extraer información de, todos los tokens precedentes en la secuencia. Actualiza dinámicamente su representación numérica mezclando las señales contextuales más relevantes.
Para "bank" en "river bank", el mecanismo de atención podría dar mucho peso a "river", mientras que en "money in the bank", se centraría en "money". Esta mezcla contextual asegura que el vector del token refleje con precisión su uso específico. Después de unas 100 capas de este tipo, el embedding del token final encapsula el contexto completo de todo el mensaje, permitiendo al modelo hacer predicciones altamente informadas para el siguiente token.
La atención señala; el MLP encuentra patrones
Un bloque Transformer, la unidad computacional central en los LLMs, realiza dos operaciones distintas. Primero, un attention mechanism mezcla información a través de las posiciones de los tokens. Esto permite que un modelo pondere la relevancia de cada palabra precedente para la palabra actual, resolviendo ambigüedades como si "bank" se refiere a la orilla de un río o a una institución financiera al considerar a sus vecinos.
Después de que la atención contextualiza el token, una feed-forward network (FFN) procesa su vector de forma independiente. Piensa en la FFN como un detector de patrones: toma la representación numérica ajustada de "bank" y busca patrones integrados, como "¿Es esto sobre dinero?". Si un patrón coincide, la FFN amplifica lo que el modelo ha aprendido sobre ese concepto específico. Investigadores como Geva et al. han demostrado que estas capas actúan como memorias asociativas, recuperando asociaciones factuales.
Aunque esta visión simplificada captura la esencia, los bloques de transformer reales también incorporan mecanismos como residual connections y capas de normalización. Estos componentes, omitidos en la analogía del video por claridad, estabilizan el entrenamiento y mejoran el rendimiento. Para profundizar en la arquitectura de transformer, explore el artículo fundamental Attention Is All You Need. Los LLM modernos como Llama 3 405B aprovechan hasta 126 de estas capas para construir representaciones contextuales complejas.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Un token a la vez, con un giro
Después de aproximadamente 100 capas de atención y redes feed-forward, la representación contextual final del modelo para la última posición del token llega a la capa de salida. Este vector se convierte entonces en logits: puntuaciones numéricas para cada token en el vocabulario del modelo, que pueden variar desde 32,000 hasta más de 128,000 tokens únicos. Una función softmax puede transformar estos logits en probabilidades, indicando la probabilidad de que cada token sea la siguiente palabra.
La decodificación selecciona entonces el siguiente token. Aunque elegir simplemente el token con mayor probabilidad es una estrategia, métodos avanzados como el sampling introducen un elemento de aleatoriedad, permitiendo resultados más diversos y creativos dentro de la distribución de probabilidad. Este token único se añade a la entrada y todo el proceso se repite, generando el siguiente token en la secuencia.
Este proceso iterativo, token a token, conocido como autoregressive generation, construye una respuesta completa. Es crucial notar que el modelo no planifica toda su respuesta por adelantado; predice cada token basándose en los anteriores. Aunque los modelos de razonamiento avanzado pueden dedicar más cómputo durante la inferencia para generar pasos intermedios o "pensamientos", siguen produciendo su resultado final de forma secuencial, token a token.
Preguntas frecuentes
¿Cómo elige un LLM su siguiente palabra?
Calcula puntuaciones para los tokens en su vocabulario basándose en el contexto, luego selecciona un token de acuerdo con esas puntuaciones y sus ajustes de decodificación.
¿Qué hace la atención en un transformer?
La atención permite que la representación de cada token se base en tokens relevantes dentro del contexto, ayudando al modelo a distinguir significados como "river bank" (orilla del río) y "bank account" (cuenta bancaria).
¿Piensan los LLM como las personas?
No en el sentido humano. Los LLM estándar generan texto a través de cálculos aprendidos y predicción del siguiente token, aunque las salidas de varios pasos pueden parecer razonamiento.
¿Qué son los parámetros en un LLM?
Los parámetros son valores numéricos aprendidos, incluyendo pesos, que dan forma a cómo el modelo transforma su entrada y produce predicciones.