El chatbot recuerda, ¿entonces por qué el modelo no?
Los chatbots hacen referencia con fluidez a detalles de momentos anteriores de tu conversación, creando una ilusión convincente de memoria. Sin embargo, el Large Language Model (LLM) subyacente no posee un estado persistente; funciona como una stateless function. Cada interacción es una solicitud nueva, carente de recuerdo personal de intercambios previos.
La tarea principal de un LLM consiste en predecir el siguiente token basándose únicamente en su entrada actual. Una vez que genera una respuesta y el proceso de inferencia concluye, el modelo no retiene esa interacción como un recuerdo personal. Piénsalo como una calculadora: realiza un cálculo y muestra el resultado, pero no "recuerda" la suma anterior cuando ingresas una nueva.
La continuidad conversacional que experimentas proviene de la aplicación que la rodea, no de una memoria interna oculta dentro del LLM. Los wrappers de software, como los utilizados por ChatGPT o Claude, logran esto anteponiendo todo el historial de la conversación a cada nuevo prompt. Esta reinyección de intercambios pasados crea la sofisticada ilusión de que el modelo está recordando, cuando simplemente está procesando una entrada cada vez mayor.
El truco de la memoria: reproducir la conversación
Las aplicaciones de chat logran la continuidad conversacional reenviando todo el historial de diálogo precedente con cada nuevo mensaje del usuario. Esta técnica, a menudo llamada "context window stuffing", proporciona al LLM toda la información necesaria para generar una respuesta coherente, creando la illusion of memory. El modelo procesa este texto concatenado como un único prompt extendido.
Para un recuerdo persistente entre sesiones, una aplicación puede almacenar datos clave, preferencias del usuario o interacciones pasadas en una base de datos o archivo. Cuando un usuario regresa, la aplicación recupera estos detalles almacenados y los inserta en el prompt inicial, permitiendo que el LLM haga referencia a información previa. Esto es información almacenada, no una memoria intrínseca del modelo en sí.
Este truco de memoria conlleva contrapartidas. Incluir repetidamente historiales largos aumenta significativamente el número total de tokens enviados con cada turno, lo que eleva los costos de la API. La context window de un LLM también impone un límite estricto a la longitud de la entrada, restringiendo la profundidad de la memoria simulada. Aunque el prompt caching puede optimizar los prefijos repetidos, no confiere una memoria duradera al modelo subyacente.
Tus palabras toman un desvío a través de tokens
Si bien tu aplicación de chat maneja la reproducción de la conversación, el Large Language Model (LLM) en sí no procesa directamente tus palabras. Internamente, los LLM operan con representaciones numéricas llamadas tokens. Antes de que tu texto llegue al modelo, un tokenizer lo convierte en una secuencia de estos IDs de token.
Los tokens no son simplemente palabras o caracteres individuales; son fragmentos de texto que los datos de entrenamiento del modelo identificaron como estadísticamente significativos. Una palabra común como “the” podría convertirse en un solo token, pero una palabra menos frecuente o compleja, como “unbelievable”, podría dividirse en múltiples fragmentos más pequeños como “un”, “believe” y “able”. Esta tokenización de subpalabras permite a los modelos manejar un vasto vocabulario de manera eficiente.
Comprender el recuento de tokens es crucial porque afecta directamente los límites de la ventana de contexto y los costos de la API. Como regla general, 1,000 tokens corresponden aproximadamente a 750 palabras en inglés, pero esto puede variar según el texto. Puedes verificar el recuento preciso de tokens para cualquier texto dado utilizando herramientas como la OpenAI Tokenizer Tool. Este proceso de conversión, aunque invisible para el usuario, es fundamental para la forma en que los LLM interpretan y generan el lenguaje humano.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
El costo real de fingir que recuerdas
Fingir que recuerdas conlleva costos reales. Los proveedores cuentan tanto los tokens de entrada como los de salida para la fijación de precios y los límites de tasa; en consecuencia, reenviar una transcripción completa y creciente en cada turno hace que los chats largos sean más costosos. Un token típico en inglés promedia alrededor de tres cuartos de palabra, por lo que una conversación que abarca varias páginas puede acumular rápidamente miles de tokens.
Agregar más historial no garantiza un mejor recuerdo. Los estudios muestran que los detalles cruciales pueden volverse más difíciles de "ver" para el modelo cuando están enterrados profundamente dentro de un prompt masivo, un fenómeno a veces llamado degradación del contexto. El mecanismo de atención del modelo, que escala con la longitud del token, puede tener dificultades para ponderar eficazmente todas las partes de una entrada demasiado larga.
Trata la memoria guardada del chatbot como una función de la aplicación, distinta de las capacidades principales del LLM. Verifica qué detalles almacena un servicio y cómo los utiliza para informar futuras interacciones. Comprender esta distinción es clave para utilizar eficazmente estos sistemas potentes, aunque sin estado.
Para lecturas adicionales, consulta la página de ayuda sobre memoria de OpenAI y el artículo fundamental, "Attention Is All You Need."
Preguntas frecuentes
¿Los LLM recuerdan conversaciones anteriores?
Un modelo no retiene una conversación después de que finaliza una solicitud. Una aplicación puede almacenar el historial de chat o los detalles del usuario e incluir información relevante en prompts posteriores.
¿Por qué un chatbot parece recordarme?
La aplicación de chatbot puede reenviar mensajes anteriores o recuperar detalles guardados, haciendo que la conversación se sienta continua aunque el modelo en sí no tenga memoria persistente.
¿Qué son los tokens en un LLM?
Los tokens son unidades numéricas que representan texto. Pueden ser palabras comunes completas o fragmentos de palabras menos comunes, y afectan los límites del modelo y los costos de la API.
¿Reenviar el historial de chat hace que la IA sea más costosa?
Puede ser. Cuando una aplicación incluye más mensajes previos con cada solicitud, el uso de tokens de entrada se acumula a lo largo de los turnos, aunque el almacenamiento en caché puede reducir el costo del texto repetido.