Пионер ИИ, делающий ставку против всё более крупных чат-ботов
Пионер ИИ Yann LeCun давно утверждает, что одно лишь масштабирование предсказания следующего токена не приведёт к интеллекту человеческого уровня; эта критика отличается от полного отрицания языковых моделей. Его скептицизм основан на принципиальном ограничении текста как источника данных: по его мнению, понимание реального мира требует более богатых мультимодальных входных данных.
Авторитет LeCun придаёт его позиции значительный вес. Он стал одним из создателей свёрточных нейронных сетей (CNN) в Bell Labs, за что получил премию Тьюринга 2018 года вместе с Geoffrey Hinton и Yoshua Bengio. Десять лет он возглавлял направление ИИ в Meta в должности Chief AI Scientist, после чего ушёл и основал AMI Labs с начальным раундом на $1,03 млрд. Это говорит о серьёзной исследовательской ставке против преобладающей отраслевой тенденции.
В этой статье рассматривается, даёт ли новая работа LeCun «Доказательство и улучшение Platonic Representation Hypothesis с помощью JEPA» эмпирическое подтверждение альтернативного пути. В частности, мы проверим, действительно ли её бенчмарк, в котором модель со 109 миллионами параметров превзошла модели с 72 миллиардами параметров по кросс-модальному выравниванию представлений, подтверждает его гипотезу, и что конкретная метрика обоснованно говорит о будущем ИИ.
Почему текст не может научить ИИ тому, как устроен мир
Языковые модели хорошо справляются с задачами, основанными на тексте, поскольку учатся предсказывать следующий токен в последовательности. Для этого они выявляют статистические закономерности в огромных наборах данных, что позволяет им генерировать связный текст, писать код и даже выполнять сложные математические операции. Их мастерство основано на освоении внутренней логики самого языка.
Однако Yann LeCun утверждает, что один лишь текст даёт скудное представление о реальности. По его мнению, маленький ребёнок за первые четыре года жизни обрабатывает через зрение примерно такой же объём данных — около 10^14 байт, — какой крупнейшие языковые модели потребляют из всего общедоступного интернет-текста. Этот визуальный поток даёт непосредственный опыт физических законов: гравитации, постоянства объектов и свойств материалов.
Это различие объясняет устойчивый парадокс: ИИ может сдать экзамен на адвоката, но испытывает трудности с бытовой робототехникой. Хотя чат-боты демонстрируют впечатляющую языковую беглость, восприятие реального мира и действия в нём остаются недостижимыми. Робототехника и автономное вождение сталкиваются с непрерывной неопределённой средой, где небольшие ошибки имеют реальные последствия, и статистические закономерности текста не могут полностью решить эту задачу.
JEPA предсказывает полезные части, а не каждый пиксель
Модель мира — это внутреннее представление ИИ о его окружении, позволяющее предсказывать развитие ситуаций, например траекторию движущегося мяча. Традиционный генеративный ИИ, однако, часто предсказывает мельчайшие детали, например каждый пиксель будущего изображения, что требует больших вычислительных затрат и зачастую излишне.
Joint-Embedding Predictive Architectures (JEPA) предлагают альтернативу. Вместо генерации детализированных результатов JEPA кодируют наблюдения в компактное абстрактное латентное представление и выполняют предсказания внутри этого пространства. Такой подход сосредоточен на предсказании полезных частей будущих состояний и игнорирует несущественный шум.
Основная идея в том, что наблюдения одной и той же сцены, даже в разных модальностях (например, текст и изображение), должны сходиться к согласованным представлениям в этом латентном пространстве. Эта концепция, сформулированная как Platonic Representation Hypothesis, предполагает, что модель может сформировать единое понимание реальности на основе разнородных входных данных. Подробнее см. статью Доказательство и улучшение Platonic Representation Hypothesis с помощью JEPA.
В недавнем бенчмарке текстовая JEPA со 109 миллионами параметров достигла показателя 0,184 по кросс-модальному выравниванию представлений относительно модели компьютерного зрения DINOv2 от Meta. Это значительно превышает результаты Qwen2.5-72B (0,154) и Llama-3-70B (0,151), притом что модель примерно в 660 раз меньше. JEPA также демонстрируют высокую эффективность по объёму данных: им потребовалось всего 21,6 миллиона парных образцов против 900 миллионов при традиционном предсказании следующего токена.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Бенчмарк впечатляет, но он уже, чем принято считать в обсуждениях
В статье приводится впечатляющее количественное сравнение: текстовая модель JEPA со 109 миллионами параметров достигла показателя выравнивания представлений 0,184 с моделью компьютерного зрения DINOv2 от Meta. Это значительно превышает результаты Qwen2.5-72B (0,154) и Llama-3-70B (0,151) и демонстрирует более высокое кросс-модальное выравнивание у модели, которая примерно в 660 раз меньше.
Эта эффективность распространилась и на требования к данным. Фреймворк на основе JEPA достиг выравнивания, используя всего 21,6 миллиона парных образцов, тогда как подходам с предсказанием следующего токена для сопоставимого выравнивания в рамках этой конкретной экспериментальной установки потребовалось 900 миллионов образцов. Это указывает на возможное преимущество по эффективности использования данных в отдельных парадигмах обучения, а не на универсальное снижение затрат во всех задачах ИИ.
Важно, что этот бенчмарк оценивает выравнивание представлений, а не такие возможности, как диалог в чате, сложное программирование или продвинутые математические рассуждения. Статья даёт убедительные подтверждения того, что цели обучения и структура данных существенно влияют на эффективность модели и формирующееся понимание. Хотя результаты многообещающие, более широкая применимость JEPA к разнообразным реальным задачам и их масштабируемость на более крупные модели остаются предметом будущих исследований и тестирования.
Часто задаваемые вопросы
Что такое JEPA в ИИ?
JEPA (Joint-Embedding Predictive Architecture) предсказывает связи между абстрактными представлениями данных, а не восстанавливает каждый исходный пиксель или токен.
Превзошла ли JEPA со 109 миллионами параметров чат-ботов с 72 миллиардами параметров?
Модель превзошла значительно более крупные модели в кросс-модальном бенчмарке по выравниванию представлений. Её не тестировали как чат-бота или универсальную систему для рассуждений.
Что такое Platonic Representation Hypothesis?
Гипотеза предполагает, что модели ИИ, обученные на разных модальностях, могут формировать схожие внутренние представления об окружающем мире.
Доказывает ли это исследование, что масштабирование больших языковых моделей — тупиковый путь?
Нет. Результаты подтверждают иной подход к обучению представлений, но не показывают, что JEPA заменяет языковые модели в реальных задачах.