Новая ИИ-модель от Meta — блестящая, но уже с проблемами

Компания Meta, которую долгое время списывали со счетов в гонке передовых ИИ, преподнесла настоящий сюрприз с выходом семейства Muse Wonder. Обозреватель Мэттью Берман отметил, что модели Muse Wonder и Muse Wonder Full являются серьезными конкурентами, особенно после предыдущих трудностей Meta в этой конкурентной области.

Компания внедряет двухуровневую линейку. Muse Wonder доступна через API, в то время как более мощная Muse Wonder Full требует подписки Muse Code. Этот стратегический шаг свидетельствует о стремлении Meta коммерциализировать свои передовые исследования в области ИИ, что отличается от их прошлых релизов с открытым исходным кодом.

Первые отчеты, включая подробный видеообзор, показывают высокие позиции обеих моделей в тестах. Например, Muse Wonder Full почти догоняет Opus 5.5 в индексе Artificial Analysis Intelligence Index. Эти результаты являются убедительным доказательством высокой производительности в различных задачах: от программирования до сложных логических рассуждений.

Однако важно правильно интерпретировать эти показатели. Хотя они впечатляют, эти тесты указывают на высокую производительность в конкретных областях, а не доказывают окончательное превосходство одной модели во всех возможных задачах. Например, Muse Wonder Full набрала 79 баллов в DeepSwee, возглавив свой класс.

Самая впечатляющая демонстрация Muse Wonder была связана с виртуальным кубиком Рубика (Rubik’s Cube). Модель манипулировала 3D-объектом, сохраняла согласованное состояние во время перемешивания, а затем выполнила реальное решение примерно за четыре минуты, продемонстрировав надежные навыки рассуждения и пространственного восприятия.

Тем не менее, возможности модели выявили ограничения в других 3D-средах. Например, в симуляции игры в стиле Fall Guys наблюдались заметные артефакты мерцания (flicker) и отсечения (clipping), из-за чего производительность оказалась ниже плавности, демонстрируемой конкурирующими моделями, такими как Opus 5.5.

Дальнейшие тесты с использованием Three.js для рендеринга лодки в океане дали неоднозначные результаты. Muse Wonder создала привлекательные отражения воды и позволила интерактивно управлять солнцем и ветром. Однако она столкнулась со слабой геометрией теней, создала неестественные белые артефакты вокруг корпуса и неточно отобразила эффекты ветра, которые меняли скорость воды, но не высоту волн.

Гиперреалистичная симуляция арбуза, призванная продемонстрировать продвинутую физику, также оказалась неудачной. Когда виртуальная пуля попала в арбуз, рендеринг стал размытым и не смог создать убедительную картину разрушения или динамики частиц. Это говорит о том, что, хотя Muse Wonder справляется с некоторыми 3D-задачами, она испытывает трудности со сложными динамическими физическими симуляциями и тонкой визуальной точностью.

В видео от Meta были приведены впечатляющие результаты тестов для Muse Wonder Full: 79 баллов в DeepSwee, позиции в топе Terminal Bench и 56 баллов в Artificial Analysis Intelligence Index, что лишь немного уступает 58 баллам Opus. Примечательно, что меньший вариант Muse Wonder набрал близкие 78,8 балла в DeepSwee, демонстрируя сильные способности к программированию у всего семейства.

Однако видео также показало менее доминирующую производительность Muse Wonder в задачах по использованию компьютера, таких как OS World, где Opus набрал больше баллов. Эти различия подчеркивают, как разные варианты моделей могут преуспевать в конкретных областях.

Результаты бенчмарков требуют тщательной интерпретации. Наборы данных измеряют различные способности, а сравнения могут включать разные версии моделей или методологии оценки. Для получения подробной информации и сверки представленных цифр обратитесь к Muse Wonder Model Overview & Documentation - Meta AI. Всегда проверяйте заявления о результатах тестов по актуальной опубликованной документации, чтобы понять полный контекст возможностей модели.

Высокие показатели в бенчмарках — это одно, а доступность — совсем другое. Начав с ежемесячного плана за 15 долларов, обозреватель перешел на уровни за 50, а затем за 200 долларов, стремясь получить полный доступ к Muse Wonder Full. Однако через несколько минут после каждого обновления он неоднократно сталкивался с ошибками HTTP 429 и достигал лимитов квот, что фактически блокировало его работу.

Глава Meta AI Александр Ван признал проблему, заявив, что она известна и исправления уже ведутся. Этот случай в день запуска подчеркивает критическое различие: ранние пользователи столкнулись с «болезнями роста» инфраструктуры, что может не отражать опыт будущих подписчиков.

Настоящее испытание для Meta выходит за рамки впечатляющих результатов бенчмарков. Хотя Muse Wonder и Muse Wonder Full восстановили доверие на бумаге, устойчивое вовлечение разработчиков зависит от надежного доступа, прозрачного ценообразования и стабильных, высококачественных результатов в реальных задачах. Разработчикам нужно создавать продукты, а не соревноваться с таймером квот. В конечном итоге это определит, сможет ли Meta превратить свои амбиции в области передовых моделей в долгосрочный успех.

Что такое Meta Muse Wonder и Muse Wonder Full?

Это две версии семейства моделей Meta Muse Wonder. В видео описывается, что Wonder доступна через API, а Wonder Full — по подписке Muse Code.

Как Muse Wonder показала себя в обзоре?

Она впечатляюще справилась с виртуальным кубиком Рубика и показала высокие результаты в нескольких заявленных бенчмарках, однако в демонстрациях игр и 3D-рендеринга были заметны недостатки.

Почему обозреватель столкнулся с ошибками 429?

Обозреватель сообщил об исчерпании квот на использование и получении ошибок HTTP 429 на платных тарифах. Глава Meta AI Александр Ван, как сообщается, заявил, что проблема известна и решается.

Лучше ли Muse Wonder, чем Opus?

В видео Muse Wonder представлена как близкий конкурент передового уровня, но результаты варьировались в зависимости от бенчмарка и задачи. Обзор не определяет однозначного победителя во всех аспектах.