overview
Titans란 무엇인가요?
Titans는 Google Research가 개발한 새로운 AI 아키텍처 도구로, AI 모델이 활발하게 실행되는 동안 핵심 기억을 지속적으로 학습하고 업데이트할 수 있도록 합니다. 신경 장기 기억 모듈을 통합하여 모델이 2백만 토큰을 초과하는 방대한 컨텍스트를 관리할 수 있습니다. 이 아키텍처는 AI가 매우 긴 컨텍스트에서 정보를 처리하고 유지하는 능력에 있어 상당한 발전을 나타내며, Transformers와 같은 이전 모델과 관련된 고정 길이 컨텍스트 창 및 2차 계산 비용을 넘어섭니다. Titans는 주의 메커니즘에 의해 촉진되는 단기 기억과 추론 중에 업데이트되는 동적이고 훈련 가능한 장기 기억을 결합하여 현재 대규모 언어 모델의 치명적인 망각 문제를 해결합니다.