Искусственный интеллект Google получил постоянную память.

Искусственный интеллект с «мозгом золотой рыбки» стал грязным секретом бума больших языковых моделей. Трансформеры могут обрабатывать, возможно, десятки или сотни тысяч токенов, но за пределами этого разговоры обрываются, документы обрезаются, а «память» сбрасывается каждый раз, когда вы нажимаете «отправить». Для систем, которые представлены как универсальные механизмы рассуждения, забывание большей части того, что только что произошло, остается непреодолимой преградой.

Новая архитектура Titans от Google и её сопутствующий фреймворк MIRAS нацелены именно на эту проблему. Это не просто еще одно обновление с увеличением контекстного окна до 1 миллиона токенов. Titans рассматривает долговременную память как основную компоненту системы, а не как дополнительный кэш, и MIRAS переосмысляет наш подход к памяти в трансформерах, RNN и других архитектурах.

Текущие фронтовые модели обходят проблему забывания с помощью методов извлечения и векторных баз данных. Они ищут в прошлых логах, выбирают несколько фрагментов и вставляют их в подсказку. Это подойдет для скриптов поддержки клиентов, но не работает, когда нужно, чтобы модель отслеживала развивающиеся проекты, личные предпочтения или многодневные исследовательские потоки без постоянного ручного редактирования.

Titans выходит за пределы этого, сохраняя более 2 миллионов токенов активного контекста — несколько полных книг — при обновлении своей памяти во время вывода. Вместо статического хранилища ключей и значений используется небольшой многослойный перцептрон в качестве обучаемого модуля памяти, который постоянно уточняет, что важно. Модель не просто читает; она записывает обратно в себя в реальном времени.

Разрешение этой проблемы с памятью является ключевым моментом для всего, что напоминает человеческий интеллект. Человеческое мышление опирается на годы накопленного контекста: длительных нарративов о людях, целях и ограничениях. Без надежной, структурированной памяти даже самая умная модель ведет себя как калькулятор с автозаполнением, а не как система, которая на самом деле знает вас.

Фреймворк MIRAS от Google утверждает, что трансформеры, РСН и другие модели последовательностей имеют общие принципы, которые можно переработать вокруг памяти, а не просто масштабируемости. Это открывает путь к проектам, где: - Долгосрочная память находится внутри модели, а не в сторонних уловках - Процесс забывания становится адаптивным, а не произвольным обрезанием - Контекст растет функционально без ограничений, а не просто «увеличивается с каждым выпуском»

Появляется новая архитектурная парадигма: системы, которые обрабатывают информацию на протяжении всей жизни токенов, а не только в одном окне чата. Стена памяти ИИ, долгое время рассматривавшаяся как аппаратное ограничение, начинает выглядеть больше как выбор в дизайне.

Забудьте о больших языковых моделях; Titans приходит как совершенно иное существо. Google описывает его не как ещё одну крупную языковую модель, а как новую архитектуру ИИ, построенную вокруг одной идеи: постоянной, обучаемой памяти, которая живёт внутри модели во время её работы. Вместо того чтобы рассматривать контекст как одноразовый свиток, Titans рассматривает его как живую базу данных.

На уровне заголовка Titans имеет контекстное окно более 2 миллионов токенов. В человеческих терминах, этого достаточно, чтобы вместить каждое слово всей серии книг о Гарри Поттере, плюс несколько научных статей и ваш почтовый ящик, все одновременно. В то время как современные модели на переднем крае испытывают трудности с обработкой одного длинного PDF-файла, Titans могут управлять информацией, эквивалентной нескольким книгам, в одной сессии.

Сырая величина не является радикальной частью. Titans преобразует это огромное окно в активную память, которая обновляется по мере того, как модель размышляет, а не только тогда, когда ее переобучают инженеры. Каждое новое предложение, исправление или сюрприз могут изменить, на что система будет обращать внимание дальше, прямо внутри ее инференсного цикла.

Вместо статических кешей ключ-значение или замороженных эмбеддингов, Titans использует небольшой многослойный перцептрон в качестве своего основного модуля памяти. Этот нейронный модуль на лету изучает паттерны на основе тысяч токенов, настраивая внутренние веса по мере поступления новой информации. Память перестает быть пассивной таблицей для поиска и становится постоянно подстраиваемой функцией.

Исследователи Google внедрили сигнал «удивления», вдохновленный человеческим cogнитивным восприятием. Когда Titans сталкивается с неожиданными или особенно информативными данными, этот показатель отмечает их как запоминающиеся; рутинные, повторяющиеся детали исчезают быстрее. Модель эффективно решает, какие события заслуживают долгосрочного хранения, а какие могут уйти в небытие.

Поскольку обновления происходят в реальном времени, каждое взаимодействие с Титанами оставляет след в их внутреннем состоянии. Долгая сессия по устранению неполадок, неделя обзоров кода или месяцы лабораторных заметок могут сформировать эволюционное понимание, а не серию изолированных разговоров. Поведение модели изменяется по мере наращивания этой истории.

Эта настойчивость открывает то, что стеки текущих трансформеров не могут сделать четко: создать нарратив о вас, вашем проекте или вашем наборе данных, который будет жить вне одной подсказки. Titans прекращает играть роль полезного помощника и начинает действовать как партнер, который действительно помнит, что вы сделали вчера.

Внимание с использованием грубой силы рассматривает каждый токен как VIP-гостя на вечеринке: одинаково важного и одинаково дорогостоящего. Стандартные трансформеры применяют квадратичное самообслуживание ко всем токенам, поэтому вычислительные затраты на контекстные окна взлетают, когда они увеличиваются с 8,000 до 2,000,000 токенов. Titans обходят эту проблему масштабирования с помощью обманчиво простого подхода: обращайте внимание только на то, что является неожиданным.

Исследователи Google заимствуют из когнитивной психологии и теории информации, чтобы определить “метрику неожиданности” — числовой показатель того, насколько новый токен отклоняется от ожидаемого моделью. Обычные фразы, повторяющиеся факты и стандартные шаблоны практически не влияют на результат. Внезапные противоречия, редкие события или новые объекты резко увеличивают показатель и вызывают обновление памяти.

Вместо того чтобы хранить каждое взаимодействие, Titans использует этот неожиданный сигнал, чтобы определить, что попадает в его долговременную память MLP, а что тихо отбрасывается. Архитектура на каждом этапе задает вопрос: «Изменило ли это мое понимание мира или этого пользователя?» Если нет, то токен рассматривается как временный контекст, а не долговечная память.

Традиционные трансформеры вынуждены пересчитывать внимание для каждого предыдущего токена, будь то пустое "спасибо" или жизненно важная инструкция. Это создаёт затраты на внимание O(n²) и огромные счета за GPU для длинных контекстов. Удивительная маршрутизация Titans сокращает эти накладные расходы, выполняя тяжёлые операции с памятью только для разреженной подмножества по-настоящему информативных токенов.

Блог Google намекает на "порядки величины" повышения эффективности, когда Titans удерживает более 2,000,000 токенов полезного контекста, не погружаясь в вычисления. Теория MIRAS подтверждает это, показывая, что обновления, основанные на неожиданностях, позволяют Titans вести себя как РСН с селективной, изученной записью памяти, а не как брутальный сканер ленты. Результат: производительность на уровне GPT-4 или лучше при выполнении задач с длинным контекстом, таких как BABILong, с использованием гораздо меньшего числа параметров и значительно меньших вычислительных ресурсов, так как модель работает более разумно, выбирая, что запомнить.

Забудьте о пыльных индексах и поиске по ключевым словам. Titans скрывает небольшой многослойный перцептрон (MLP) внутри более крупной модели и использует его как живой, постоянно обучающийся движок памяти. Вместо простого хранения векторов в базе данных эта внутренняя сеть перестраивает себя по мере поступления новой информации.

Смотрите на это как на мозг внутри мозга. Внешняя модель обрабатывает язык, рассуждения и планирование, в то время как внутренний МLP тихо изучает всё, что она хранит, выявляя паттерны на основе тысяч или даже миллионов токенов. Со временем эта внутренняя сеть перестает быть пассивным кешем и становится специализированным экспертом в вашей истории взаимодействия с моделью.

Статические векторные базы данных — на чем основаны большинство современных чат-ботов — делают нечто гораздо более примитивное. Они: - Встраивают ваш текст в векторы - Сохраняют эти векторы в хранилище - Извлекают "ближайших соседей", когда вы задаете вопрос

Эти системы никогда по-настоящему не понимают, что они хранят. Они не осознают, что заметка о встрече, фрагмент кода и электронное письмо описывают один и тот же баг, или что три отдельных документа на самом деле являются главами одного длительного проекта. Нейронная память Titans это понимает.

Поскольку память является МЛП, она может компрессировать связанные факты в общие внутренние представления, укрепляя важные связи и позволяя неважным ослабевать. Это означает, что система может удерживать развернутый контекст в 2 миллиона токенов и более, не теряя устойчивости. Сетевая память фактически становится индивидуальной моделью, настроенной на ваше текущее взаимодействие — обновляемой в реальном времени, а не в ходе оффлайн-переобучения.

Чтобы избежать переполнения памяти, Titans заимствует идеи прямо из теории оптимизации. Моментум сглаживает обновления, так что одиночное неожиданное событие сильно влияет на память, в то время как повторяющийся шум едва ли замечается. Модель активно реагирует на паттерны, которые продолжают возникать, и игнорирует разовые сбои.

С другой стороны, адаптивное забывание избавляется от того, что больше не имеет значения. Поскольку новые модели становятся доминирующими — новые проекты, новые темы, новые кодовые базы — внутренний MLP постепенно перераспределяет свои возможности, позволяя устаревшим представлениям угасать. Вместо раздувшегося архива, Titans работает с тонкой, самоорганизующейся памятью, которая обучается, расставляет приоритеты и забывает с намерением.

MIRAS стоит за Титанами как тихая революция: объединяющая теория для современных нейронных сетей. Вместо того чтобы быть очередной архитектурой на сегодняшний день, MIRAS представляет собой математическую структуру, которая показывает, что Трансформеры, РСН и другие модели последовательностей являются различными гранями одной и той же базовой системы. Исследователи Google описывают это как отсутствующую карту, которая объясняет, почему столь разные по виду модели часто ведут себя так похоже.

Как Розеттский камень для ИИ, MIRAS переводит между архитектурами, которые раньше существовали в отдельных исследовательских силосах. Веса внимания в трансформерах, скрытые состояния в RNN и внешняя память в моделях извлечения все сводятся к общим операциям над последовательностями информации. Как только вы выражаете их на языке MIRAS, вы можете заменять части, сравнивать компромиссы и рассуждать о возможностях с помощью одного инструментария.

Это объединение имеет значение, потому что каждая семья приносит свои уникальные сильные стороны. RNN отлично справляются со стриминговыми данными и обновлениями с низкой задержкой, но исторически испытывали трудности с очень длинными контекстами. Трансформеры преуспевают в точности и глобальном рассуждении на тысячах токенов, но испытывают проблемы с памятью и вычислительными ресурсами по мере увеличения последовательностей. MIRAS демонстрирует, как сочетать эти характеристики, вместо того чтобы выбирать одну из сторон.

Титаны — это первая демонстрация концепции, построенная непосредственно на этой платформе. Его память на основе MLP ведет себя как быстрая, непрерывная конечная автоверсия RNN, при этом поддерживая глобальное рассуждение в стиле Transformer на более чем 2 миллионах токенов. В рамках MIRAS этот гибрид не является ухищрением; это чистая инстанциация общих принципов, которые также распространяются на геномику, временные ряды и другие не текстовые области.

Теперь исследователи получают пространство дизайна вместо меню. MIRAS позволяет им систематически исследовать гибриды, которые: - Используют рекуррентность, подобную RNN, для скорости - Заимствуют паттерны внимания Transformer для точности - Подключают специализированные единицы памяти, такие как MLP Titans, основанный на неожиданностях

Расположенный таким образом, MIRAS выглядит не как единичный трюк, а скорее как план для пост-Трансформаторного ИИ. Любая будущая архитектура, которой нужны долгосрочная память, эффективный вывод или специализированная структура, может быть сначала наметена внутри этой общей теории, а затем реализована. Титаны могут быть главными звездами, но MIRAS — это основополагающий свод правил, который может сформировать каждую серьезную AI-систему, которая появится в будущем.

Забудьте о сравнении моделей, основанных на настроениях. Google поставил Titans в ряд против сегодняшних тяжеловесов, включая GPT-4, и провел жестокую серию тестов с длинным контекстом. Результат: более компактная и дешевая архитектура неоднократно доказала свою способность к разумному мышлению по сравнению с моделями, которые полагаются на простое количество параметров и огромные окна контекста.

В центре противостояния находится BABILong — эталон, созданный для разрушения традиционных трансформеров. Вместо аккуратных коротких подсказок, BABILong предоставляет моделям обширные документы, которые могут превышать 1–2 миллиона токенов — тысячи страниц смешанных фактов, отвлекающих моментов и тонких зависимостей.

BABILong не просто проверяет, может ли модель «запомнить» токены из далекого прошлого. Она заставляет системы отслеживать сущности, причинно-следственные цепочки и условные правила, скрытые в тексте, а затем отвечать на вопросы, зависящие от деталей, введенных сотни тысяч токенов назад. Любая слабость в долгосрочном рассуждении или управлении памятью мгновенно проявляется в падении точности.

На этом тесте Titans не просто выжили; он доминировал. Google сообщает, что Titans превосходит все базовые показатели на BABILong, включая модели с гораздо большим количеством параметров и существенно оптимизированные трансформеры с длинным контекстом, настроенные специально для задач в стиле поиска.

Это преимущество в производительности имеет значение, поскольку системы класса GPT-4 уже используют контекстные окна объемом в сотни тысяч токенов. Однако даже с этими расширенными ограничениями их качество часто резко ухудшается по мере увеличения длины подсказок, возникают ложные кросс-документальные связи или теряются следы сущностей, введенных в начале последовательности. В отличие от них, Titans поддерживает связные цепочки рассуждений даже при вводе данных объемом в несколько книг.

Шок приходит, когда вы смотрите на эффективность. Titans достигает этих показателей с значительно меньшим количеством параметров — на уровне небольшого или среднего LLM, а не гиганта на передовой — и работает за долю вычислительных затрат. Меньшая пропускная способность памяти, меньше FLOPs и отсутствие необходимости в квадратичном внимании по всей последовательности приводят к значительно более дешевому выводу.

Это переворачивает историю масштабирования с ног на голову. Вместо "просто добавьте больше GPU" Titans утверждает, что более умные архитектуры памяти могут обогнать системы уровня GPT-4 в долгосрочном контекстном анализе, при этом используя меньше ресурсов. Для лабораторий, стартапов и даже развертываний на устройствах это не просто незначительная победа; это архитектурный coup.

Память, которая действительно запоминается, оказывается полезной намного шире, чем просто разговорные словесные игры. Стек Titans от Google уже вышел за рамки языкового песочницы, демонстрируя передовые результаты в задачах геномного моделирования, где моделям необходимо отслеживать зависимости на десятках тысяч пар оснований. Вместо того чтобы рассматривать ДНК как короткое предложение, Titans могут усваивать целые геномные регионы — длиной в миллионы символов — и сохранять тонкие паттерны, охватывающие удаленные локусы.

Геномика — это жесткая испытательная площадка: регулирующие элементы, мутации и структурные варианты взаимодействуют на огромных масштабах. Базовое запоминающее устройство Titan, основанное на MLP, действует как дифференцируемый блокнот, накапливая долгосрочные связи между последовательностями и фенотипами, не подверженное ограничениям контекста. Это имеет значение для задач, таких как предсказание экспрессии генов, эффекты внецелевого редактирования CRISPR или полигенные риск-оценки, где контекст — это вся история биологии.

Финансовый сектор предлагает совершенно иной стресс-тест, и Titans справляется с этим также хорошо. На долгосрочных финансовых временных рядах архитектура отслеживает годы данных о ценах, макроэкономических индикаторов и потоков событий, динамически обновляя свое внутреннее состояние. Вместо фиксированных окон или хрупкой инженерии признаков, Titans поддерживает скользящую, обученную память о рыночных режимах, шоках и медленных структурных изменениях.

Эта кросс-доменная эффективность — настоящий показатель: система памяти не является лишь трюком, настроенным для предсказания следующего токена. MIRAS демонстрирует, что «мозг внутри мозга» Титанов находится на том же абстрактном уровне, что и трансформеры или рекуррентные нейронные сети, но с универсальным, обучаемым ядром памяти. Когда тот же механизм усиливает языковое мышление, моделирование ДНК и шумное прогнозирование рынка, вы имеете дело с фундаментальной способностью, а не с перетренированной уловкой.

Будущие приложения практически пишут себя сами. Постоянные медицинские помощники могут отслеживать всю долгосрочную историю пациента — лабораторные анализы, изображения, заметки врачей, данные носимых устройств — на протяжении десятилетий, выявляя паттерны, которые ни один человек не способен удерживать в рабочей памяти. Инструменты экономического моделирования в режиме реального времени могут объединять потоковые транзакционные данные, изменения в политике и мировые новости в непрерывно обновляемую модель мира, предоставляя правительствам и компаниям нечто опасно близкое к живому, дышащему макро-мозгу.

AGI перестает быть слоганом научной фантастики и начинает выглядеть как инженерная схема, как только модели могут запоминать. Титаны и фреймворк MIRAS непосредственно выводят исследования Google в эту область, решая задачу, на которую люди полагаются постоянно: долговременная, адаптивная, избирательная память, которая сохраняется более чем в одном разговоре или запросе.

Человеческое мышление опирается на воспоминания, которые охватывают секунды, годы и всё, что между ними. Вы помните предпочтения друга, книгу, которую читали прошлым летом, и маршрут домой, и обновляете эти воспоминания на лету. Любой правдоподобный Искусственный Общий Интеллект нуждается в этом же спектре: краткосрочной оперативной памяти, среднесрочном рабочем контексте и долговечных, структурированных знаниях, которые продолжают развиваться.

Титаны эффективно прикрепляют эту конструкцию к современному ИИ. Вместо контекста в 128K или 1M токенов, который сбрасывается с каждым сеансом, Титаны поддерживают более 2 миллионов токенов используемого контекста и непрерывно обновляют свое внутреннее состояние, используя основанную на MLP память как постоянное рабочее пространство, а не одноразовый буфер.

Исследователи Google рассматривают это не как очередной переход к "большим трансформерам", а как фундаментальный архитектурный поворот. MIRAS раскрывает общую математическую основу между трансформерами, RNN и другими модельными последовательностями, а затем использует это понимание для проектирования памяти как интегрированной системы, а не как вспомогательного приемника или хранения векторов постфактум.

Долговременная память здесь — это не просто больший объем хранения; она избирательна и адаптивна. Метрика неожиданности оценивает входящую информацию по тому, насколько она неожиданна и информативна, поэтому единичное исключение, важная инструкция или внезапный поворот сюжета запоминаются, в то время как рутинные общие сведения исчезают благодаря адаптивному забыванию и обновлениям в стиле импульса.

Этот механизм открывает то, что современные чат-боты имитируют с помощью хаков: постоянную модель мира и вас. Титанам, в принципе, под силу отслеживать развивающиеся цели пользователя на протяжении недель, запоминать предыдущие неудачи и корректировать стратегии без оффлайн повторного обучения или ручной настройки.

Непрерывное обучение во время вывода также разрушает стену между «обучением» и «использованием» модели. Вместо того чтобы замораживать снимок знаний и отправлять его, Titans ведет себя больше как программное обеспечение, которое самостоятельно обновляется в реальном времени при встрече с новыми данными, крайними случаями или противодействующими вводами.

Последствия накапливаются быстро. Ассистент, который действительно запоминает проекты вашей компании, исследовательский агент, создающий многолетнюю карту литературы, или роботизированная система, ежедневно уточняющая свою модель окружающей среды, все ближе к системам, которые мы стали бы считать по-настоящему интеллектуальными, а не просто впечатляющими по возможностям автозаполнения.

Память, которая не сбрасывается с каждым запросом, превращает сегодняшние яркие демонстрации в инфраструктуру. С Titans корпоративный помощник может вести непрерывный рассказ о жизни компании: каждая заявка, заметка с совещания, продажа и отчет о происшествии. Вместо того чтобы повторно загружать PDF-файлы, вы спрашиваете: «Как изменились наши факторы оттока с 2021 года?», и он извлекает информацию из миллионов токенов истории за один проход.

Служба поддержки перестает быть безликой машиной для ответов на часто задаваемые вопросы. Поддерживающий бот, работающий на Titans, может запомнить, что вы всегда предпочитаете электронную почту, что на прошлой неделе вы пробовали три неудачных решения, и что ваше продление гарантии было обещано, но так и не оформлено. На протяжении нескольких месяцев он может отслеживать редкие ошибки у тысяч пользователей и выявлять шаблоны, которые могли бы ускользнуть от внимания людей.

Образование переживает тихую революцию. Персональный репетитор может вспомнить каждое упражнение, с которым вы сталкивались, те подсказки, которые сработали, и ваш темп на протяжении сотен занятий. Вместо общего “повторения дробей” он может сказать: “Вы обычно допускаете ошибки, когда знаменатели являются простыми числами; давайте поработаем над этим,” потому что этот шаблон живет в долгосрочной памяти, а не в файле cookie.

Внутри компаний аналитические инструменты прекращают выборку. Титаны могут обрабатывать годы журналов, транзакций и данных с датчиков — миллионы токенов — без проблем с разбиением. Система прогнозирования может связать странный скачок в доходах за последний квартал с тонкими изменениями в политике два года назад, потому что оба события сосуществуют в активной памяти, а не в хранилище данных плюс запрос.

Для разработчиков Titans сигнализирует о разрыве с пуританским поклонением трансформерам. Теперь вы проектируете на основе внутреннего MLP-движка памяти, обновлений на основе сюрпризов и адаптивного забвения, вместо того чтобы просто увеличивать количество голов внимания и размер контекстных окон. Это открывает возможности для более компактных агентов, которые работают на меньших GPU, но ведут себя так, будто у них есть встроенная частная, постоянно растущая векторная база данных.

Динамика рынка быстро меняется, когда «контекстное окно» перестает быть предметом гордости. Если модели класса Титан обеспечивают уровень рассуждений, сопоставимый с GPT-4, с 2 миллионами и более токенов живой, обновляемой памяти при меньших вычислительных затратах, акценты смещаются с «128K контекста» на «насколько умна ваша память?» Цены на API, стратегии хостинга и даже то, какие компании контролируют отношения с клиентами, будут реорганизованы вокруг того, кто управляет этим постоянным когнитивным слоем.

Титаны Google перерабатывают ИИ с долгосрочной памятью от экспериментальных научных работ до работающего кода. Вместо демонстрационных проектов или узкоспециализированных задач Google сообщает, что Титаны обрабатывают более 2 миллионов токенов активного контекста — эквивалент нескольких романов — при этом обновляя свою память в реальном времени durante инференса.

В центре этого сдвига находится четкая тройка. Titans сочетает в себе: - Огромные, постоянные контекстные окна - Приоритизацию памяти, подобную человеческой - Превосходную вычислительную эффективность по сравнению с гораздо более крупными моделями

Массивный контекст обычно приводил бы к завышенным затратам на вычисления и задержкам. Titan обходит это, используя встроенный модуль памяти на основе MLP, а не механическую обработку каждого токена, что позволяет ему обойти GPT-4 по результатам тестов, используя меньше параметров и меньше вычислительных ресурсов, согласно тестам Google.

Приоритизация, схожая с человеческой, основана на "метрике неожиданности" — сигнале, который возрастает, когда входные данные отклоняются от ожидаемого моделью. Titans использует этот всплеск, чтобы определить, что хранить на долгий срок, что усиливать, а что незаметно забывать, что отражает способ, которым люди игнорируют рутинные события, но запоминают резкие отклонения.

Эта основанная на сюрпризах память подпитывает динамику и адаптивное забвение, так что модель не тонет в собственном прошлом. Старые, невыдающиеся шаблоны угасают; редкие, но важные события сохраняются. В результате получается ИИ, который может отслеживать долгосрочные проекты, эволюционирующие наборы данных или многосессионные разговоры без постоянной ручной настройки подсказок.

MIRAS — это другая половина истории. Структура Google показывает, что трансформеры, RNN и модели в стиле Titans имеют общую базовую структуру, предоставляя исследователям единый план вместо зоопарка несовместимых архитектур.

Сведение этих семейств в единую теорию позволяет MIRAS комбинировать компоненты — внимание в стиле трансформеров, рекуррентность в стиле РНН, память в стиле Titans — под одной математической концепцией. Это должно ускорить развитие подражателей и конкурентов так же, как это выгодно Google.

На уровне всей индустрии MIRAS снижает барьеры для лабораторий, которые не имеют бюджетов масштаба Google, но стремятся к возможностям, подобным Titan. Ожидайте реализации с открытым исходным кодом, гибридные архитектуры и специализированные варианты Titan, настроенные на кодовые базы, медицинские записи или финансовые потоки.

В совокупности, Titans и MIRAS обозначают поворотный момент в темпе изменений в области ИИ. Когда модели могут запоминать годы взаимодействия, обновляться в реальном времени и работать дешевле, чем современные гиганты, «ИИ следующего поколения» перестает быть дальним планом и начинает выглядеть как быстро приближающаяся норма.

Что такое Google Titans?

Titans — это новая архитектура ИИ от Google, предназначенная для долгосрочной памяти. Она может сохранять более 2 миллионов токенов контекста и активно обучаться, обновляя свою память в реальном времени без повторной тренировки.

Как работает система памяти Титанов?

Вместо простой векторной базы данных Titans использует небольшую внутреннюю нейронную сеть (MLP) в качестве своей памяти. Она также применяет 'метрику сюрприза', чтобы приоритизировать хранение новой, важной информации, подражая человеческому восприятию.

Титан лучше GPT-4?

На конкретных тестах, разработанных для проверки долгосрочного мышления, таких как BABILong, Titans продемонстрировал лучшие результаты, чем более крупные модели, такие как GPT-4, при этом использование вычислительных ресурсов было значительно меньше.

Что такое структура MIRAS?

MIRAS — это теоретическая основа, разработанная вместе с Titans. Она объединяет различные архитектуры ИИ, такие как трансформеры и рекуррентные нейронные сети, раскрывая их общие принципы и предоставляя шаблон для проектирования новых, более эффективных моделей.

Почему долговременная память так важна для ИИ?

Долговременная память является критически важным компонентом человеческого интеллекта. Она позволяет осуществлять непрерывное обучение, контекстуальное понимание и создавать устойчивую базу знаний, все из которых считаются необходимыми шагами к достижению Общего Искусственного Интеллекта (ОИИ).