overview
O que é Titans?
Titans é uma nova ferramenta de arquitetura de IA desenvolvida pela Google Research que permite que os modelos de IA aprendam e atualizem continuamente sua memória central enquanto estão em execução ativa. Ele integra um módulo de memória neural de longo prazo, permitindo que os modelos gerenciem contextos massivos para além de 2 milhões de tokens. Esta arquitetura representa um avanço significativo na capacidade da IA de processar e reter informações de contextos extremamente longos, indo além das janelas de contexto de comprimento fixo e dos custos computacionais quadráticos associados a modelos anteriores como Transformers. Titans combina memória de curto prazo, facilitada por mecanismos de atenção, com uma memória de longo prazo dinâmica e treinável que se atualiza durante a inferência, abordando o problema do esquecimento catastrófico nos atuais grandes modelos de linguagem.