ИИ с 975 млрд параметров, который «слышит» необработанный аудиосигнал

Бывший технический директор OpenAI Мира Мурати запустила стартап Thinking Machines с оценкой в 12 млрд долларов, готовый бросить вызов ландшафту закрытых разработок в области ИИ. Её компания выступает за создание мощных моделей с открытыми весами, стремясь демократизировать передовые возможности ИИ и предоставить предприятиям беспрецедентный контроль и возможности настройки своих интеллектуальных систем.

Первый продукт Thinking Machines, Inkling, представляет собой внушительную систему с 975 миллиардами параметров. Этот впечатляющий масштаб управляется с помощью сложной архитектуры Mixture-of-Experts (MoE), где для обработки любого заданного токена активно задействуется лишь 41 миллиард параметров, что позволяет сбалансировать мощность и вычислительную эффективность. Inkling выпущен под разрешительной лицензией Apache 2.0, а его полные веса находятся в открытом доступе на Hugging Face.

Важно отметить, что Thinking Machines позиционирует Inkling не как конкурента ИИ общего назначения, а как стратегическую базовую модель. Хотя она может не превосходить все широкопрофильные бенчмарки, её архитектура идеально подходит в качестве отправной точки для специализированных приложений. Истинный потенциал Inkling раскрывается через кастомную донастройку, осуществляемую исключительно через платформу Tinker, что позволяет разработчикам создавать высокоспециализированные решения для конкретных высоконагруженных задач.

Inkling резко отличается от обычных мультимодальных моделей тем, что обходит стадию предварительной обработки нетекстовых данных. Вместо транскрибирования аудио в текст или описания изображений с помощью отдельного визуального энкодера, модель принимает необработанный аудиосигнал в виде спектрограмм и изображения в виде патчей 40x40 пикселей напрямую. Затем они обрабатываются вместе с текстовыми токенами в едином репрезентативном пространстве.

Эта инновационная архитектура теоретически минимизирует потерю данных и сжатие, присущие традиционным методам, при которых информация неизбежно теряется во время преобразования богатых сенсорных данных в текстовый посредник. Это позволяет Inkling воспринимать нюансы звука, такие как стиль речи, а не только его семантическое содержание.

Thinking Machines открыто говорит о производительности Inkling в общих задачах. Хотя модель превосходит GLM 5.2 в следовании инструкциям (79,8 против 73,3), она значительно уступает в агентных задачах Terminal-Bench (63,8 против 82,7). Это указывает на высокую эффективность в выполнении прямых команд, но более слабые способности к автономному решению проблем.

Такие результаты бенчмарков подтверждают, что Inkling спроектирован как специалист по fine-tuning, а не как модель общего профиля. Его сила заключается в предоставлении надежной основы, работающей с «сырыми» данными, для узкоспециализированных высоконагруженных задач, особенно тех, которые включают нюансированные аудио- или визуальные входные данные, а не для широких рассуждений без контроля.

Истинная мощь Inkling проявляется через fine-tuning, а не через общую производительность. Этот процесс учит модели тому, как отвечать — формируя тон, формат и соблюдение конкретных структур вывода, а не передавая новые фактические знания.

Вспомните Harvey AI, которая донастроила меньшую модель для извлечения юридических цитат. Эта специализированная модель улучшила свой показатель F1 с 0,56 до 0,68. Она также сравнялась с GPT-4.0 или превзошла её в 93% случаев, при этом работая быстрее и экономичнее.

Платформа Tinker от Thinking Machines упрощает эту настройку, обеспечивая быструю адаптацию под конкретные задачи. Впечатляющая демонстрация показала, как Inkling самостоятельно выполняет дообучение, чтобы демонстрировать «эпсилонофобию» — никогда не использовать букву «e» — путем автоматической корректировки своих обучающих данных и выполнения всего процесса дообучения. Полученные ответы, несмотря на лингвистическое ограничение, сохранили удивительную осмысленность.

В основе этой эффективности лежит Low-Rank Adaptation (LoRA). LoRA замораживает исходные 975 миллиардов параметров и внедряет облегченные, меньшие матрицы для захвата новых, специфических данных. Этот подход радикально снижает стоимость и время настройки по сравнению с переобучением всей модели, делая специализированный ИИ доступным для нишевых приложений.

Такая целевая адаптация означает, что предприятия могут создавать узкоспециализированных агентов для выполнения большого объема узких задач. Для тех, кто заинтересован в изучении архитектуры с открытыми весами Inkling и получении дополнительных сведений, ресурсы доступны на thinkingmachines/Inkling - Hugging Face.

Inkling не предназначен для использования в качестве универсальной «рабочей лошадки»; его создатели из Thinking Machines открыто признают, что его производительность в широких бенчмарках, таких как Terminal-Bench, уступает передовым моделям. Для широкого спектра неспециализированных задач предпочтительнее остаются признанные закрытые ИИ. Однако для узкой, высокообъемной работы, подкрепленной надежными размеченными данными, Inkling становится грозным конкурентом, специально созданным для глубокого дообучения.

На платформе Tinker модель Inkling занимает две уникальные ниши. Это единственная модель, способная обрабатывать необработанное аудио (raw audio) напрямую в виде спектрограмм, минуя потерю данных, присущую текстовой транскрипции. Такой прямой подход позволяет проводить беспрецедентный анализ внутренних свойств звука. Кроме того, пользователи могут точно настраивать интеллектуальные усилия (thinking effort) с помощью детального ползунка от 0 до 1, предлагая контроль, выходящий далеко за рамки типичных настроек «низкий», «средний» или «высокий», встречающихся в других моделях.

Выбор Inkling зависит от специфики вашего приложения. Он превосходно справляется со специализированными аудиозадачами, такими как медицинская диктовка, умело изучая сложные названия лекарств или выполняя сложную классификацию стиля речи, чтобы определить, как именно было сказано что-либо. Когда глубокая настройка, прямой анализ аудио и дообучение (fine-tuning) модели для точной, повторяемой функции являются основными целями, Inkling предлагает непревзойденное решение с открытыми весами.

Что такое ИИ-модель Inkling?

Inkling — это модель с открытыми весами и 975 миллиардами параметров, основанная на архитектуре Mixture-of-Experts (MoE), от Thinking Machines, стартапа, основанного бывшим техническим директором OpenAI Мирой Мурати. Она разработана в первую очередь для дообучения под конкретные задачи.

Чем отличается обработка аудио и изображений в Inkling?

В отличие от моделей, которые сначала преобразуют аудио/изображения в текстовые описания, Inkling обрабатывает необработанные данные напрямую. Он принимает аудио в виде спектрограмм, а изображения — в виде пиксельных патчей, смешивая их с текстовыми токенами для уменьшения потери данных и повышения точности.

Лучше ли Inkling, чем GPT-4?

Inkling не задумывался как более мощная универсальная модель, чем GPT-4. Его сила заключается в том, что он является высокоэффективной базовой моделью для дообучения под узкие, специфические задачи, где настроенная версия может превзойти общие модели как по точности, так и по эффективности.

Что такое платформа Tinker?

Tinker — это платформа Thinking Machines, предназначенная для настройки и дообучения ИИ-моделей, таких как Inkling. Она упрощает процесс адаптации модели к узкоспециализированной задаче, используя такие методы, как LoRA, для экономически эффективного обучения.