Квадратичный счет Attention — и радикальный путь к спасению
Современные большие языковые модели, от GPT до Gemini, полагаются на attention mechanism архитектуры Transformer. Эта система позволяет каждому токену в последовательности сравнивать себя с каждым другим токеном, создавая матрицу взаимодействий L-на-L. Несмотря на свою эффективность, это глобальное сравнение влечет за собой вычислительные затраты и затраты памяти, которые растут квадратично вместе с длиной последовательности, что создает серьезную проблему масштабирования.
Недавняя статья от декабря 2025 года «Attention Is Not What You Need» автора Zhang Chong предлагает радикальный отход от привычного. Вместо дорогостоящей матрицы внимания L-на-L, архитектура «Grassmann Flows» от Chong заменяет её механизмом, основанным на дифференциальной геометрии XIX века. Это не устоявшаяся альтернатива, а новая экспериментальная концепция.
Основная идея заключается в уменьшении представлений токенов с 256 до 32 измерений и их сопряжении с фиксированным набором соседей на определенных расстояниях (1, 2, 4, 8, 12 и 16 позиций). Каждая пара образует плоскость в 32-мерном Grassmann manifold, кодируемую 496 координатами Плюккера. Обучаемый гейт затем смешивает эту геометрическую информацию с исходным представлением токена.
Поскольку каждый токен взаимодействует только с фиксированным количеством соседей, этот подход масштабируется линейно относительно длины последовательности, значительно снижая сложность. Первые результаты на небольших моделях (от 13 до 18 млн параметров) показывают перплексию в пределах 10–15% от сопоставимых по размеру моделей Transformer, и даже небольшое преимущество в одной задаче классификации. Однако более низкая вычислительная сложность сама по себе не гарантирует эффективную работу языковой модели; истинная проверка заключается в масштабировании и независимой воспроизводимости.
Геометрия XIX века, скрытая в каждой паре токенов
Вместо полной матрицы внимания эта новая архитектура сжимает 256-мерное состояние каждого токена всего до 32 измерений. Затем она объединяет каждый токен с выбранным набором соседей с фиксированными смещениями: 1, 2, 4, 8, 12 и 16 позиций. Это локальное многомасштабное взаимодействие позволяет избежать квадратичных затрат глобального внимания.
Два 32-мерных вектора, представляющие пару токенов, определяют плоскость в 32-мерном пространстве. В математике совокупность всех таких плоскостей образует Grassmann manifold. Модель кодирует каждую из этих плоскостей с использованием Plücker coordinates, генерируя 496 различных числовых признаков для каждой пары.
Обучаемый гейт затем определяет, какая часть этой богатой 496-мерной геометрической информации интегрируется в исходное состояние токена. Этот механизм обеспечивает линейную стоимость масштабирования в зависимости от длины последовательности. В статье утверждается, что такой геометрический подход позволяет получать математически проверяемые представления, открывая потенциальный путь к interpretability — многообещающий исследовательский аспект, хотя и не доказанное преимущество.
Многообещающие цифры сталкиваются с неприятной проверкой на воспроизводимость
Первоначальные результаты из статьи «Attention Is Not What You Need» выглядели многообещающе. Автор протестировал модели с примерно 13–18 миллионами параметров на Wikitext-2, заявив о перплексии в пределах 10–15% от сопоставимых моделей Transformer. Для задачи классификации «голова» DistilBERT, использующая этот геометрический подход, достигла точности 85,38%, немного превзойдя базовую модель Transformer с показателем 85,11%.
Тем не менее, попытки независимого воспроизведения результатов вызвали вопросы. В одной из попыток воспроизведения, проведенной Elliot Arledge, был зафиксирован разрыв в производительности на 22,6%, что значительно превышает показатели, заявленные в статье. Хотя вторая попытка дала более близкие цифры, это расхождение говорит о том, что недокументированные детали реализации могут критически влиять на производительность.
Сохраняются два основных возражения. Во-первых, автор не предоставил код, что делает невозможной прямую проверку деталей реализации. Во-вторых, ключевая формула в статье описывает сопоставление каждого токена с будущими токенами ($t + \Delta$), что может поставить под угрозу causal evaluation, позволяя модели «подглядывать» в будущую информацию во время обучения. Если это применяется так, как описано, такая data leakage сделает недействительными заявленные показатели производительности для авторегрессионных задач.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Перспективное направление исследований, а не замена attention
Данные моделей с 13–18 миллионами параметров на Wikitext-2, даже с заявленной перплексией в пределах 10–15% от Transformers и небольшим преимуществом в классификации DistilBERT, не подтверждают жизнеспособность метода в больших масштабах. По современным меркам это toy models, и их производительность на небольших бенчмарках не позволяет предсказать поведение в языковых моделях с миллиардами параметров или в задачах с длинным контекстом.
Этот геометрический подход входит в переполненную область альтернатив с линейным временем выполнения, включая Mamba, RWKV и RetNet. Чтобы получить признание, Grassmann flows должны продемонстрировать превосходное качество и воспроизводимость, а не просто линейную сложность. Отсутствие публичного кода в сочетании с потенциальной утечкой причинно-следственных связей (causal leakage) в формулировках статьи и противоречивыми результатами воспроизведения — один из которых показал разрыв в производительности на 22,6% — вызывает серьезные опасения.
До тех пор, пока у исследовательского сообщества не будет доступа к:
- Публично доступному, воспроизводимому коду
- Строгим тестам на причинно-следственную связь для исключения data leakage
- Независимым репликациям на более крупных моделях и датасетах
«Grassmann flow» лучше рассматривать как перспективное направление исследований для изучения структурированных представлений, особенно в контексте интерпретируемости. Более широкие заявления о замене attention требуют гораздо более надежной проверки.
Часто задаваемые вопросы
Что такое Grassmann flows?
Это предложенная архитектура моделирования последовательностей, которая представляет пары векторов токенов как геометрические подпространства и использует эти признаки вместо стандартного self-attention.
Как Grassmann flows могут сократить вычисления?
Они сопоставляют каждый токен с фиксированным набором соседей, а не сравнивают каждый токен с каждым другим, стремясь к линейному, а не квадратичному масштабированию в зависимости от длины последовательности.
Было ли доказано, что Grassmann flows превосходят Transformers?
Нет. В статье представлены результаты для небольших моделей, близкие к результатам Transformers аналогичного размера, но в целом уступающие им; независимые попытки воспроизведения показали противоречивые результаты.
Почему исследователи ставят под сомнение результаты статьи?
В статье отсутствует эталонный код, детали реализации оспариваются, а комментаторы выразили обеспокоенность по поводу индексации будущих токенов в причинно-следственном языковом моделировании (causal language modeling).