Новая модель Nvidia на 30B непригодна для использования

Meta's Muse Glimmer и NVIDIA's Nemotron Lightning 3.5, обе новые модели с 30 миллиардами параметров, вышли с разницей в один день. Обе разработаны для потребительского оборудования, специально оптимизированы для таких GPU, как RTX 5090. Их одновременный выпуск провоцирует прямое сравнение, несмотря на резкие архитектурные различия.

Muse Glimmer, дистиллированная версия флагманской модели Meta Muse Spark, нацелена на эффективность в повседневных системах. Она интегрирует поддержку DFlash, обеспечивая спекулятивное декодирование, при котором меньшая модель-черновик угадывает фрагменты из 16 слов, которые затем проверяет основная модель. Этот метод обещает трехкратное ускорение без ущерба для качества вывода.

Помимо улучшений скорости, Muse Glimmer обладает надежными возможностями компьютерного зрения, позволяя ей интерпретировать изображения и рассуждать о них. Она также предлагает внушительное контекстное окно в 128 000 токенов, что делает её подходящей для детальных, коротких взаимодействий.

NVIDIA’s Nemotron Lightning 3.5 использует принципиально иной подход с архитектурой Mixture of Experts (MoE). Хотя номинально это модель с 30 миллиардами параметров, маршрутизатор активно задействует только около 3 миллиардов параметров для каждого вывода, что делает её исключительно быстрой и эффективной. Этот дизайн является основой её производительности.

Lightning 3.5 выделяется массивным контекстным окном в 1 миллион токенов, что идеально подходит для обработки обширных документов или длинного контента. Однако этой модели заметно не хватает встроенных возможностей компьютерного зрения, что является существенным компромиссом по сравнению с Muse Glimmer.

Первоначальный тест кодирования веб-страницы сразу выявил резкий разрыв в производительности. NVIDIA's Nemotron Lightning 3.5 стабильно выдавала пустую, нерабочую страницу, потерпев неудачу дважды за 11 минут. Даже после запроса на исправление она выдавала точно такой же сломанный результат. Напротив, Muse Glimmer предоставила частично функциональную страницу менее чем за 2 минуты 50 секунд, с работающими кнопками, макетом в виде булавок и интерактивными подсказками (tooltips). Glimmer продемонстрировала явное превосходство в выполнении фундаментальной задачи.

Последующая задача по редактированию видео еще больше подчеркнула серьезные ограничения Lightning. При задаче добавления аудио, Nemotron Lightning 3.5 катастрофически провалилась, повредив временную шкалу и удалив важные исходные дорожки. Это была не мелкая ошибка, а деструктивный результат. Muse Glimmer, однако, выполнила монтаж безупречно, правильно наложив аудио и даже точно справившись с последующим запросом на смену музыки.

Из этих испытаний вырисовывается четкая закономерность. Muse Glimmer последовательно демонстрирует надежные рассуждения и успешное использование инструментов, умело ориентируясь в многошаговой логике для достижения функциональных результатов. NVIDIA's Nemotron Lightning 3.5, напротив, испытывает глубокие трудности со сложными инструкциями, не в силах исправить себя или выдать пригодные результаты. Её неспособность выполнять базовые задачи автоматизации делает её фактически непригодной для практического применения.

Первоначальные тесты автоматизации выявили критические недостатки Nemotron Lightning 3.5. Итоговая оценка была разработана так, чтобы использовать её заявленную сильную сторону: контекстное окно в 1 млн токенов. Эта огромная емкость, значительно превышающая 128 000 токенов Muse Glimmer, позиционировала Lightning как идеального кандидата для анализа обширных документов. Тестировщики предоставили обеим моделям собственный отчет NVIDIA 10K объемом более 100 страниц — идеальный реальный тест для глубокого извлечения финансовых данных.

Nemotron Lightning 3.5 потерпела сокрушительную неудачу. Вызов инструмента веб-поиска немедленно завершился ошибкой, вынудив модель перейти к обычному поиску в интернете. Эта критическая ошибка привела к серьезной галлюцинации: Lightning сообщила, что 23% выручки NVIDIA приходится на долю ее крупнейших клиентов. Точная и легко проверяемая цифра из отчета 10K составляет значительные 36%. Ошибка в 13 процентных пунктов в ключевых финансовых данных делает этот результат абсолютно бесполезным.

Muse Glimmer, с его сравнительно меньшим контекстным окном, оказался значительно надежнее. Он также столкнулся с первоначальными сбоями при веб-запросах, но Glimmer успешно преодолел эти препятствия. Модель получила верный документ NVIDIA 10K и точно извлекла показатель выручки в 36%, продемонстрировав превосходную устойчивость при работе с инструментами. Это яркое сравнение подчеркивает, что «сырые» технические характеристики, такие как огромное контекстное окно, не имеют значения без надежного исполнения. Для получения дополнительной информации о моделях, включая Muse Glimmer, обратитесь к muse-glimmer-30b Model by Meta - Nvidia NIM.

Muse Glimmer выходит безоговорочным победителем в этом противостоянии 30B моделей, доказывая, что является способной и удивительно надежной моделью для повседневных задач. Он прошел два из трех сложных тестов с впечатляющими результатами, продемонстрировав реальную полезность. От создания частично функциональной веб-страницы с интерактивными элементами и подсказками до эффективного анализа документа объемом более 100 страниц — Glimmer неизменно выдавал пригодный для использования результат. Эта модель готова к серьезному применению на потребительских GPU, таких как RTX 5090.

Напротив, Nemotron Lightning 3.5 от NVIDIA в своем текущем состоянии просто непригоден для какой-либо серьезной работы. Его производительность была ужасающей по всем направлениям. Во время теста по веб-программированию Lightning неоднократно выдавал пустую, нерабочую страницу, не сумев выполнить базовое использование инструментов или логическое построение. Даже с разрекламированным контекстным окном в 1 млн токенов он не смог извлечь значимые данные из собственного отчета NVIDIA 10K, выдав неточные и недостоверные результаты.

Урок суров и критически важен для разработчиков: технические характеристики на бумаге, такие как количество параметров в 30 миллиардов или впечатляющее контекстное окно в 1 млн токенов, бессмысленны без фундаментального логического мышления и надежного исполнения. Muse Glimmer обладает базовым интеллектом для выполнения задач, что делает его жизнеспособным выбором. Nemotron Lightning 3.5, несмотря на свои архитектурные обещания, полностью лишен этой ключевой способности, что делает его полным провалом. Избегайте его.

Что такое Muse Glimmer и Nemotron Lightning 3.5?

Это 30-миллиардные параметрические ИИ-модели, выпущенные Meta и Nvidia соответственно, разработанные для эффективной работы на потребительском оборудовании. Muse Glimmer — это дистиллированная модель с возможностями компьютерного зрения, в то время как Nemotron Lightning — это модель типа Mixture-of-Experts (MoE) с большим контекстным окном.

Почему Nemotron Lightning 3.5 показал такие плохие результаты в тестах?

Он постоянно проваливал сложные многоэтапные задачи. У него возникли трудности с использованием инструментов (сбои при веб-запросах), он не мог самостоятельно исправлять ошибки, а в одном случае выдал галлюцинацию с неверными финансовыми данными вместо того, чтобы сообщить о невозможности получения исходного документа.

Является ли Muse Glimmer от Meta хорошей ИИ-моделью для разработчиков?

Основываясь на этих тестах, Muse Glimmer — это удивительно способная и надежная модель. Он успешно выполнил сложные задачи по программированию и автоматизации, связанные с вызовом инструментов, продемонстрировав надежное логическое мышление и способность обходить незначительные ошибки.

Что такое модель Mixture of Experts (MoE)?

MoE-модель, такая как Nemotron Lightning, состоит из множества небольших подсетей-«экспертов». Для любой конкретной задачи маршрутизатор активирует только наиболее подходящих экспертов, что делает модель быстрее и дешевле в работе по сравнению с плотной моделью, где все параметры активны постоянно.