Закон масштабирования ИИ официально нарушается

Замечательный подъем ИИ, подпитываемый многомиллиардной ставкой индустрии, долгое время основывался на одном принципе: законе масштабирования (scaling law). Это фундаментальное убеждение утверждает, что увеличение размера модели, параметров и обучающих данных неизменно приводит к созданию более умного и способного ИИ. Такие компании, как OpenAI и Nvidia, получили колоссальные инвестиции, основанные на этой мантре «чем больше, тем лучше», что способствовало быстрому расширению вычислительной инфраструктуры.

Новая исследовательская работа «Emergent Analogical Reasoning in Transformers» теперь напрямую оспаривает это основополагающее предположение. Ее выводы показывают, что для критически важного аспекта интеллекта простое масштабирование моделей может не только перестать улучшать производительность, но в некоторых случаях активно ухудшать ее. Это открытие вызывает волнения в индустрии, построенной на предсказуемых выгодах от масштаба.

В основе этой проблемы лежит аналогическое мышление (analogical reasoning), отличительная черта человеческого интеллекта. Этот навык включает в себя выявление связей между различными понятиями и применение этих закономерностей к новым ситуациям — подобно пониманию того, что «дерево относится к лесу так же, как рыба к океану». Аналогическое мышление постоянно служило эталоном для передовых возможностей ИИ, что делает его неожиданный провал в масштабировании серьезной проблемой для разработки передовых моделей.

Новая статья «Emergent Analogical Reasoning in Transformers» разрушает универсальность закона масштабирования. Исследователи тщательно разработали контролируемый эксперимент, обучая серию моделей ИИ с нуля в вымышленном «фальшивом мире». Это позволило точно манипулировать переменными, систематически масштабируя ширину моделей — 64, 128, 256, 512 — наряду с различными глубинами и объемами данных.

Их выводы выявили глубоко нелинейную кривую производительности. В то время как самые маленькие модели предсказуемо испытывали трудности с аналогическим мышлением, модели среднего размера достигали пиковой производительности. Что особенно важно, по мере того как модели росли до своих самых больших конфигураций, их способность выполнять эти критически важные задачи мышления ухудшалась, работая хуже, чем их умеренно большие собратья.

Этот контр-интуитивный результат напрямую оспаривает мантру индустрии «чем больше, тем лучше». В статье прямо говорится: «увеличение размера модели не монотонно улучшает производительность, а в некоторых случаях даже ухудшает ее». Это наблюдение фундаментально ставит под сомнение предсказуемые выгоды, которые подпитывали более $700 миллиардов инвестиций в ИИ.

Примечательно, что эта закономерность не ограничивалась контролируемой средой лаборатории. Исследователи воспроизвели ту же тревожную тенденцию в реальных моделях, включая Google's Gemma и Meta's Llama. Это предполагает, что наблюдаемый сбой в масштабировании — не просто академическое любопытство, а повсеместное ограничение, затрагивающее широко используемые системы ИИ.

Вывод очевиден: простое вливание большего количества вычислительных ресурсов и данных в постоянно увеличивающиеся модели может не принести пропорциональной или даже положительной отдачи для сложных когнитивных способностей, таких как аналогическое мышление. Это вынуждает пересмотреть текущие стратегии разработки и основные предположения, движущие развитие ИИ.

Производительность зависит не от масштаба, а от внутренней организации модели, структуры, которую исследователи называют geometric alignment. Представьте, что нейронная сеть строит внутреннюю карту концепций: хорошо выровненная модель создает связный, навигационный ментальный ландшафт, обеспечивая сложное рассуждение. Эта сложная внутренняя архитектура, выходящая далеко за рамки простого увеличения количества параметров, определяет истинную способность модели к выполнению сложных задач.

Важно отметить, что достижение этого выравнивания не является гарантированным результатом простого увеличения размера модели. Вместо этого оно возникает из тонкого взаимодействия факторов, включая качество и разнообразие обучающих данных, специфические параметры обучения, такие как скорости обучения, и точно настроенные параметры оптимизации. Простое добавление большего количества вычислений и данных, традиционной основы Scaling Law, не приводит автоматически к проявлению этой оптимальной внутренней структуры.

Исследователи наблюдали, как модели демонстрировали «переходное поведение» во время обучающих прогонов для таких задач, как Emergent Analogical Reasoning. Модели осваивали навык, достигали пиковой производительности, а затем забывали его по мере продолжения обучения или увеличения размера, что было неожиданным явлением. Это окончательное наблюдение, подробно описанное в статье Emergent Analogical Reasoning in Transformers - arXiv, доказывает, что одного лишь масштаба недостаточно; качество и стабильность внутреннего обучения имеют гораздо большее значение, чем предполагалось ранее.

Выводы из статьи «Emergent Analogical Reasoning» напрямую оспаривают основополагающее предположение индустрии ИИ о том, что более крупные модели неизбежно приводят к более умному ИИ. Этот сдвиг парадигмы согласуется с недавним заявлением соучредителя OpenAI Ilya Sutskever о том, что «эпоха масштабирования» завершилась. Такие заявления знаменуют собой важный поворотный момент, признавая не только убывающую отдачу от чистого масштаба, но и все более ограниченное предложение высококачественных обучающих данных, имеющих решающее значение для разработки моделей.

Доказательства уже подтверждают эту новую парадигму. Такие лаборатории, как DeepSeek, разработали меньшие, более эффективные модели, которые достигают уровней производительности, сравнимых или даже превосходящих гораздо более крупные передовые системы ИИ. Этот успех демонстрирует, что интеллектуальный архитектурный дизайн, превосходная организация данных и оптимизированные методологии обучения могут превзойти традиционный подход «грубой силы» простого добавления большего количества параметров и вычислений.

Следовательно, следующий рубеж в развитии ИИ значительно сместится от количества параметров или чистых вычислительных затрат. Будущие достижения будут вместо этого зависеть от освоения сложной data curation, тщательной post-training refinement и эффективных inference-time compute. Акцент смещается на проектирование правильных внутренних структур и «geometric alignment» внутри моделей, а не просто на создание самых больших, чтобы разблокировать по-настоящему продвинутый искусственный интеллект.

Что такое закон масштабирования ИИ?

Закон масштабирования ИИ — это принцип, согласно которому увеличение размера модели (параметров), обучающих данных и вычислительной мощности предсказуемо и последовательно улучшает ее производительность и интеллект.

Почему закон масштабирования сейчас ставится под сомнение?

Недавняя статья «Emergent Analogical Reasoning in Transformers» показала, что для аналогового рассуждения модели среднего размера превосходили более крупные, предполагая, что простое увеличение масштаба может фактически ухудшить производительность для некоторых сложных задач.

Что такое аналоговое рассуждение в ИИ?

Это способность понимать взаимосвязь между двумя концепциями и применять ту же взаимосвязь к совершенно новой паре концепций. Это считается краеугольным камнем человеческого интеллекта и творчества.

Что это означает для будущего развития ИИ?

Отрасль может сместить фокус с создания всё более крупных моделей на разработку более интеллектуальных методов обучения, улучшение качества данных и поиск способов культивирования специфических внутренних структур моделей, таких как 'geometric alignment', для раскрытия новых возможностей.