overview
¿Qué es Titans?
Titans es una nueva herramienta de arquitectura de IA desarrollada por Google Research que permite a los modelos de IA aprender y actualizar continuamente su memoria central mientras están en funcionamiento activo. Integra un módulo de memoria neuronal a largo plazo, permitiendo a los modelos gestionar contextos masivos de más de 2 millones de tokens. Esta arquitectura representa un avance significativo en la capacidad de la IA para procesar y retener información de contextos extremadamente largos, superando las ventanas de contexto de longitud fija y los costos computacionales cuadráticos asociados con modelos anteriores como Transformers. Titans combina la memoria a corto plazo, facilitada por mecanismos de atención, con una memoria a largo plazo dinámica y entrenable que se actualiza durante la inferencia, abordando el problema del olvido catastrófico en los modelos de lenguaje grandes actuales.