Теневой поглощение NVIDIA за $20 млрд

Шепоты о сделке NVIDIA на 20 миллиардов долларов достигли торговых площадок, как сбой в матрице. Это не было заголовочным выкупом в стиле Arm, не чистая покупка, а сумма настолько большая, что мгновенно сделала её самой крупной сделкой компании за всю историю. Больше, чем любой запуск GPU, больше, чем любое завоевание в дизайне дата-центров — это была территория баланса как оружия.

Для масштаба, покупка Mellanox компанией NVIDIA в 2019 году обошлась в 6,9 миллиарда долларов и изменила весь рынок высокопроизводительной сетевой инфраструктуры. Эта новая сделка фактически утраивает эту сумму, нацеливаясь не на пропускную способность или соединения, а на сердцевину ИИ-инференса. Когда компания, уже стоящая более триллиона долларов, решает, что 20 миллиардов долларов — это адекватная цена за скорость, задержку и опыт в области кремния, все обращают на это внимание.

Сначала возникла путаница. NVIDIA заявила, что не покупает Groq полностью, но при этом деньги, сопоставимые с полной рыночной капитализацией средних производителей чипов, были в движении. Инвесторы пытались соотнести эту сделку с привычными схемами — слияниями и поглощениями, стратегическими партнерствами, лицензированием — но ни одна из них не подходила. Заголовки называли это приобретением; юристы NVIDIA очень осторожно этого не делали.

Структура выглядела почти намеренно странной. NVIDIA согласилась заплатить примерно 20 миллиардов долларов за неэксклюзивные права на основной интеллектуальную собственность Groq, а также за эффективное «приобретение» ее лучших инженерных талантов, включая основателя Джонатана Росса и президента Сани Мадру. Компания Groq продолжит существовать под новым руководством, в то время как архитектура LPU Groq и большинство ее чиповых активов перейдут под контроль NVIDIA.

Эта асимметрия питаела раннее чувство тайны. Почему тратить деньги на уровне приобретения, не получая полной собственности или не инициируя прямое слияние? Почему оставить GroqCloud и части бизнеса вне сделки, поглощая лишь умы и планы? Многие со стороны считали, что NVIDIA заплатила премиальную цену за половину компании.

Под шумом начала появляться другая история: регуляторный джудо-ход, обернутый стратегическим захватом территории. Избегая прямого выкупа, NVIDIA избежала того рода антимонопольного контроля, который погубил её попытку приобрести Arm за 40 миллиардов долларов. В то же время она тихо обеспечила себе людей, интеллектуальную собственность и дорожную карту, необходимые для доминирования на следующем этапе ИИ: вывода результатов с пугающей скоростью и масштабом.

Дженсен Хуанг не купил Groq, сколько перепрограммировал его. NVIDIA тратит примерно 20 миллиардов долларов на пакет, который сочетает в себе широкий, неэксклюзивный лицензионный доступ к основным интеллектуальным правам Groq с классическим приобретением талантов из Кремниевой долины. На бумаге Groq продолжает существовать. На практике его самые ценные активы теперь находятся под влиянием гравитационного поля NVIDIA.

Вместо того чтобы приобрести капитель и корпоративную оболочку Groq, NVIDIA лицензировала её архитектуру LPU, стек компиляторов и ключевые патенты на дизайн. Эта интеллектуальная собственность сопровождается долгосрочными правами доступа, которые предоставляют NVIDIA все необходимое для интеграции концепций инференсного кремния Groq в будущие продуктовые линейки. Нехарактерный язык сохраняет для Groq техническую свободу для лицензирования в других местах, но с уходом её изобретателей эта возможность выглядит скорее теоретической, чем реальной.

Эта структура передает технологические драгоценности Groq NVIDIA, не вызывая юридических триггеров, которые погубили сделку с ARM. Регуляторы в США, ЕС и Великобритании уже выразили глубокую озабоченность по поводу доминирования NVIDIA в сфере вычислений в области ИИ. Прямое приобретение быстро растущего конкурента в области инференса привело бы к много летним расследованиям, мерам по изменению поведения или к полному запрету.

В отличие от этого, лицензирование ИП и перемещение талантов обычно проходят мимо антимонопольного контроля как «обычные» сделки. Никакой подачи документов на изменение контроля, никакого голосования акционеров, никаких слияний для судебных разбирательств. NVIDIA может убедительно утверждать, что она не устранила конкурента с рынка; Groq по-прежнему существует, продолжает работать с GroqCloud и, теоретически, всё ещё может производить чипы.

Человеческая сторона сделки делает этот аргумент академическим. Основатель Groq Джонатан Росс, инженер, стоящий за TPU от Google и LPU от Groq, переходит в NVIDIA. Президент Санни Мадра и критическая масса команд по архитектуре, компиляторам и системам Groq, по сообщениям, присоединяются к нему. То, что остается в Groq, больше похоже на бренд и облачный сервис, чем на компанию полного спектра в области кремниевых решений.

Стратегически, Хуан получает то, чего опасались регуляторы: более строгий контроль над стеком вывода ИИ без бумажной следы классического слияния. NVIDIA расширяет своё присутствие от обучения на GPU до сверхнизкой задержки вывода, вооружённая разработками Groq и людьми, которые знают, как продвинуть их дальше.

Джонатан Росс построил свою карьеру на простом, но жестоком принципе: задержка убивает ИИ. В Google он воплотил этот девиз в кремнии, возглавив команду, создавшую Tensor Processing Unit (TPU) — специализированный ускоритель, который незаметно стал основой для Google Поиска, Перевода, Фотографий и рекомендаций на YouTube. Сегодня количество внедрений TPU насчитывает миллионы чипов, вырабатывающих триллионы выводов в день в дата-центрах Google.

Росс не просто разработал быстрый чип; он переработал всю архитектуру вокруг матричной математики. TPU разгрузили плотную линейную алгебру от ЦПУ и ГПУ, позволив Google обучать и обслуживать модели в масштабах, которые были бы экономически невозможны на аппаратном обеспечении общего назначения. Этот успех закрепил за ним статус одного из немногих инженеров, которые доказали, что могут изменить экономику гипермасштабирования с помощью единственного архитектурного решения.

Затем он ушел. Росс основал Groq с более четкой идеей: создать процессор не для графики, не даже для общего ИИ, а для чистой скорости обработки языка и вывода. Вместо сложной, высокопараллельной модели GPU, Единица обработки языка (LPU) от Groq использует детерминированную, одноядерную, крайне широкую архитектуру, которая выполняет нейронные сети как конвейер. Без кэшей, минимальная ветвление, четкое планирование времени.

Аппаратное обеспечение и стек компиляторов Groq преследовали одну метрику: токены в секунду. Публичные демонстрации показали, что LPUs Groq обрабатывают выходы больших языковых моделей на уровне сотен токенов в секунду на пользователя, зачастую на 2–3 раза быстрее, чем сопоставимые решения на основе GPU при аналогичных мощностных лимитах. Для нагрузок, чувствительных к задержкам — торговля, разговорные агенты, системы реального времени — это различие напрямую трансформируется в доход и удержание пользователей.

Вот почему Росс занимает центральное место в ставке NVIDIA на 20 миллиардов долларов. Дженсен Хуан не просто лицензирует интеллектуальную собственность; он фактически импортирует ум, который превратил Google в компанию, ориентированную на TPU, а затем построил сопоставимый инференс-движок с нуля. [Эксклюзив: NVIDIA приобретает активы стартапа в области ИИ Groq за около 20 миллиардов долларов в своей самой крупной сделке] подчеркивает, что это крупнейшая сделка NVIDIA за всю историю, затмевающая приобретение Mellanox за 6,9 миллиарда долларов.

NVIDIA уже доминирует в обучении с помощью графических процессоров. Ross предоставляет правдоподобный путь к доминированию в инференсе, объединяя экосистемы GPU с детерминизмом в стиле LPU и дисциплиной компилятора. Вы не тратите 20 миллиардов долларов на лицензию и приобретение компании, если не верите, что архитектор, которого вы нанимаете, сможет определить ваше следующее десятилетие в области кремния.

Графические процессоры были созданы для рисования пикселей. Графические процессорные блоки прекрасно справляются с тысячами параллельных математических задач на экране, что идеально подходит для 3D-игр, а затем и для обработки объемных тренировочных запусков ИИ. Они рассматривают всё — трассировку лучей, матричное умножение, физику — как просто еще одну стыдно параллельную задачу.

LPUs переворачивают эту логику. Языковая обработка единица Groq — это не универсальный числовой миксер; это жестко запрограммированный быстрый путь для запуска крупных языковых моделей в моменте вывода. В то время как графические процессоры справляются со многими нагрузками с помощью сложного расписания, LPU выполняет одну, высокопредсказуемую программу так быстро и последовательно, как позволяет физика.

Думайте о графическом процессоре как о разветвленной университетской библиотеке. Обучение модели похоже на глубокое исследование: просмотр миллионов страниц, перекрестная проверка источников, пересмотр гипотез, многократные итерации на тысячах графических процессоров в течение недель. Гибкость важнее, чем строгая предсказуемость, потому что каждое обучение изменяет "учебный план".

LPU ведет себя как гипероптимизированный поисковый движок, направленный на готовую библиотеку. Модель уже обучена; вывод — это акт задать вопрос и получить токены в ответ. Вас интересуют задержка, пропускная способность и стоимость за запрос, а не перестановка полок каждую ночь.

Языковые модели делают это разделение еще более очевидным. Трансформеры генерируют текст токен за токеном, в строгой последовательности: токен N+1 зависит от токенов 1 до N. Эта цепочка зависимостей кажется враждебной параллелизму, но она невероятно предсказуема — та же графика, тот же паттерн памяти, тот же поток управления для миллиардов запросов.

Архитектура Groq опирается на эту предсказуемость. Вместо того чтобы скрывать задержки памяти с помощью огромных пулов потоков, как это делает GPU, LPU представляет собой статический поток данных на чипе, превращая каждый шаг с токеном в очередной этап с заданным временем. Никакой рулетки кэша, никакой дивергенции потоков, просто конвейер матричных умножений и softmax.

NVIDIA видит, что написано в финансовых отчетах. Обучение стало первой волной стоимостью в триллион долларов, но инференс затмит это, поскольку каждое поле поиска, чат службы поддержки и приложение для повышения продуктивности начнут обращаться к моделям миллионы раз в секунду. Доходы растут с количеством запросов, а не с тем, сколько раз вы обучаете GPT-Next.

Итак, король графических процессоров вложился в то, что угрожает превосходству GPU. Потратив около $20 миллиардов на неэксклюзивные права на интеллектуальную собственность LPU компании Groq и привлечя Джонатана Росса и его команду, NVIDIA защищает свои позиции в будущем, где гипермасштабные компании будут стандартизироваться на специализированных чипах для инференса. Лучше владеть победившей архитектурой, чем защищать угасаючу монополию на чипы вчерашнего дня.

Задайте ИИ вопрос, получите ответ всего за несколько сотен миллисекунд — вот что такое инференс. Обучение — это дорогостоящий курс подготовки, где модель учится; инференс — это каждый раз, когда модель выполняет свою задачу: пишет код, суммирует заседания, генерирует видео или управляет автомобилем. Это фаза «действия» ИИ, и она никогда не останавливается после выпуска модели.

Граничная модель может обучаться один раз или несколько раз на суперкомпьютере, но она может обрабатывать запросы миллиардами или триллионами раз за свой срок службы. Сервисы OpenAI ChatGPT, Google Gemini и Meta на базе Llama уже обрабатывают десятки миллионов запросов в день. В масштабах количество выводов значительно превышает количество тренировочных запусков по нескольким порядкам величины.

Эта асимметрия превращает вывод данных в настоящую машину для зарабатывания денег. Каждый чат, поиск, билет в службу поддержки клиентов и креатив, созданный ИИ, прокручивают метр вывода данных. Облачные провайдеры уже взимают плату за каждую тысячу токенов или за каждый вызов API, а корпоративные развертывания отслеживают внутреннее использование аналогичным образом, преобразуя сырцовые вычислительные циклы в регулярный доход.

NVIDIA понимает, что тот, кто контролирует инференс, контролирует слой подписки экономики ИИ. Обучение является крупным капитальными расходами: гигантские одноразовые кластеры GPU, амортизируемые на протяжении месяцев. Инференс ведет себя как SaaS: предсказуемо, на основе использования и тесно связан с ростом пользователей. Поскольку ИИ проникает в офисные документы, CRM-системы и интерфейсы телефонов, объемы инференса — и счета — увеличиваются с каждым кликом.

Обладание лучшим оборудованием для вывода означает установление операционных маржей для каждого ИИ-сервиса, построенного на его основе. Если ваш чип выполняет модель в 5 раз быстрее, потребляя при этом в два раза меньше энергии, вы можете либо снизить цены по сравнению с конкурентами, либо оставить разницу в виде прибыли. Этот ценовой дельта определяет, стоит ли ИИ-запрос $0.01 или $0.0001, что является разницей между эффектным демо и устойчивым продуктом.

Архитектура LPU от Groq нацелена именно на эту узкую ссылку: ультранизкая латентность, детерминированное инференсирование в огромных масштабах. Закупив неконкурсные права на интеллектуальную собственность Groq и привлекая Джонатана Роулса и его команду, NVIDIA покупает будущее, в котором ее кремний не только обучает модели, но и обеспечивает триллионы последующих инференсов.

Числа сделали Groq невозможно игнорировать для NVIDIA. На общественных бенчмарках LLM, таких как Llama 2 и Mixtral, системы LPU от Groq последовательно демонстрировали скорость вывода примерно 2–3 раза быстрее по сравнению с топовыми кластерными GPU при аналогичных или более низких затратах энергии. Демо-развертывания показывали время отклика менее 20 мс для моделей с 7-13 миллиардами параметров, тогда как GUP-пулы часто колеблются в диапазоне 50–150 мс, если учитывать накладные расходы на сеть и пакетирование.

Эта высокая скорость напрямую влияет на пользовательский опыт. Чат-бот, который отвечает за 30 мс вместо 100 мс, ощущается меньше как веб-форма и больше как живая беседа. Синхронный перевод перестает звучать как дублированный фильм и начинает вести себя как человек-переводчик, при этом каждая фраза приходит почти сразу после того, как она покидает ваши уста.

Для AI-агентов задержка — это кислород. Агент, который соединяет 20 вызовов инструментов на GPU, может потратить несколько секунд на выполнение задачи; на LPU от Groq тот же рабочий процесс может быть сокращён до меньшей секунды. Эта разница определяет, сможет ли AI ассистент управлять живым продажным звонком, вести переговоры в многопользовательской игре или координировать рой роботов, не врезаясь в мебель.

Эти цифры создали явную уязвимость для NVIDIA. Если гипермасштабируемые компании или платформы с открытым исходным кодом стандартизируют использование Groq для инференса, дата-центры с акцентом на GPU рискуют стать устаревшими, предназначенными только для обучения. Шаг NVIDIA на 20 миллиардов долларов фактически нейтрализовал будущее, в котором конкурирующий силиконовый стек владел бы слоем инференса, генерирующим повторяющийся доход.

Сценарии использования с низкой задержкой наиболее ярко демонстрируют преимущества Groq: - Высокоинтенсивная торговля и маркет-мейкинг - Автономные транспортные средства и дроны - Оперативная поддержка клиентов и колл-центры - Многопользовательские игры и интерактивная трансляция - Промышленное управление и робототехника

Аналитики своевременно выявили эту угрозу, и такие материалы, как Nvidia лицензирует технологию вывода Groq, руководители Groq присоединяются к производителю чипов, подчеркивают, как стратегически NVIDIA предприняла шаги для того, чтобы привлечь интеллектуальную собственность и таланты Groq в свою орбиту.

Регуляторы в Вашингтоне, Брюсселе и Пекине в данный момент окружают NVIDIA, как акулы. Компания уже контролирует около 70–80% рынка AI-ускорителей, а надзорные органы блокировали или сильно ограничивали сделки, гораздо меньшие, чем простая покупка Groq. После неудачной попытки покупки Arm за 40 миллиардов долларов и текущего внимания со стороны ЕС и FTC, чистое приобретение прямого конкурента по индукции выглядело как автоматическое направление в антимонопольный суд.

Таким образом, NVIDIA обошла очевидную ловушку. Вместо того чтобы купить Groq, она заплатила около 20 миллиардов долларов за неэксклюзивную лицензию на основные технологические решения Groq LPU и одновременно перетянула Джонатана Росса и большую часть его команды. Корпорация Groq продолжает существовать; умники и схемы теперь находятся внутри NVIDIA.

Юристы назвали бы это сделкой лицензирования и трудоустройства, а не слиянием. Регуляторы, ограниченные действующими законами, испытывают трудности с тем, чтобы рассматривать лицензии на интеллектуальную собственность и вымогательство талантов как события концентрации, даже когда стратегический эффект схож с приобретением. Нет подачи на изменение контроля, нет классического обзора слияний, нет аккуратной таблицы HHI, показывающей, что конкурентов стало на одного меньше.

Структурно NVIDIA достигла почти всего, что дала бы заблокированная сделка по покупке. Она обеспечила себе долгосрочный доступ к набору команд Groq, стеку компиляторов и аппаратным разработкам, а также человеческому капиталу, который знает, как их развивать. Groq сохраняет теоретическое право лицензировать свою интеллектуальную собственность в других местах, но любой соперник теперь начинает как минимум на 18-24 месяца позже, чем дорожная карта NVIDIA, которая уже включает технологии Groq.

Этот ярлык «неэксклюзивный» выполняет тяжелую юридическую работу, скрывая практическую асимметрию. NVIDIA может предоплачивать, совместно разрабатывать и глубоко интегрировать блоки, полученные от Groq, в будущие продукты для вывода, оптимизируя свою экосистему CUDA и сетевую инфраструктуру вокруг них. Лицензиату-опоздуну придется столкнуться с:

• 1Нет доступа к оригинальной основной команде.
• 2Целевая установка, которую постоянно меняет NVIDIA в ходе итераций архитектуры.
• 3Привязка клиентов к программному обеспечению и облачной платформе NVIDIA.

Этот план создает опасный прецедент. Крупные технологические компании теперь могут осуществлять фактические приобретения через лицензии на интеллектуальную собственность, эксклюзивные интеграции и массовые наборы сотрудников, все это формируется так, чтобы не подпадать под классические определения слияний. Антимонопольное законодательство, по-прежнему нацеленное на железные дороги и телефонные компании, только что оказалось перехитровано компанией, которая одинаково хорошо понимает код и контракты.

Groq просыпается утром после сделки на 20 миллиардов долларов как парадокс: внезапно ставший богатым наличностью и стратегически важный игрок, который только что потерял свой ум. Новый генеральный директор Саймон Эдвардс теперь управляет компанией, чья основная интеллектуальная собственность на чипы находится под неэксклюзивной лицензией с NVIDIA, в то время как большинство людей, которые его разрабатывали, теперь носят зеленые куртки в Санта-Кларе.

Оставшаяся коронная жемчужина Groq — это GroqCloud, платформа облачного вывода, которая предоставляет аппаратное обеспечение LPU в виде API. Эта услуга уже привлекла разработчиков демонстрациями, показывающими задержку на 2–3 раза ниже при выводе больших языковых моделей по сравнению с GPU-решениями, и она по-прежнему контролирует свои отношения с клиентами, выставление счетов и стратегию. В рынке, где все арендуют вычислительные ресурсы по токенам, а не по транзисторам, этот абстрактный уровень имеет значение.

Однако сейчас GroqCloud действует в странной конкурентной орбите. NVIDIA может предложить ту же лицензированную LPU IP через своих облачных партнеров и платформы DGX, в то время как Groq пытается выделиться за счет программного обеспечения, инструментов и опыта разработчиков. Если NVIDIA снизит цены или объединит на основе LPU инференс с существующими GPU-продуктами, GroqCloud рискует стать бутиковой версией своей собственной технологии.

Гравитация талантов представляет собой еще большую проблему. Джонатан Росс, Санни Мадра и критическая масса старших архитекторов теперь находятся в организационной структуре NVIDIA, а не Groq. Привлечение инженеров высшей категории в области кремния и систем в компанию, которая только что увидела, как ее определяющая интеллектуальная собственность уходит, потребует убедительной новой концепции, а не ностальгии по славным дням LPU.

Groq может попытаться изменить стратегию и стать чисто специализированной платформой ИИ для вывода, сосредоточившись на более высокоуровневых абстракциях: управляемых средах выполнения, потоковой передаче с ультранизкой задержкой и специализированных задачах, таких как финансовые данные или многопользовательские игры. Также компания может нацелиться на клиентов на краю сети и локальных клиентов, которые недовольны гипермасштабируемыми провайдерами и предпочитают более мелкого, гибкого поставщика.

Долгосрочная жизнеспособность зависит от того, сможет ли Groq разработать что-то по-настоящему новое, что NVIDIA не сможет мгновенно скопировать или лучше распространить. Если GroqCloud станет лишь брендированным интерфейсом для технологий, которые NVIDIA эффективно контролирует и продвигает на глобальном рынке, Groq рискует стать исторической приметой — хитрой регуляторной уловкой на пути NVIDIA к доминированию в области инференции. Если Эдвардс сможет превратить эту неловкую независимость в лабораторию для более быстрых и странных идей, Groq все еще может иметь значение в следующем цикле аппаратного обеспечения.

NVIDIA только что прекратила притворяться, что она компания по производству графических процессоров. Ставка в $20 миллиардов на архитектуру LPU компании Groq, оформленная как лицензионное соглашение и набор талантов, сигнализирует о повороте к обладанию каждым важным компонентом AI-микросхемы, от первого токена до окончательного ответа. Графические процессоры стали основой буму в области искусственного интеллекта; высокоспециализированные акселераторы – это то, как NVIDIA планирует завладеть своим вторым актом.

Вместо разовой сделки по трофею это похоже на первую фазу более широкого захвата AI-силикона. NVIDIA уже продает H100 и B200 для обучения, Grace Hopper для задач с ограниченной памятью и сетевой силикон из приобретения Mellanox. Интеллектуальная собственность Groq заполняет недостающий кусок: ультранизкие задержки и детерминированное высокомасштабное вывод.

Конкуренты уже много лет используют этот подход внутри компании. Google разработала TPU, чтобы избавиться от узких мест с GPU в своих дата-центрах. Amazon запустила Trainium и Inferentia для оптимизации затрат на AWS. Нейронный процессор Apple превратил каждый iPhone в устройство для локальной обработки. Шаг NVIDIA говорит о том, что вместо того, чтобы терять рабочие нагрузки в пользу этих специализированных чипов, компания создаст собственное специализированное портфолио, чтобы составить им конкуренцию.

NVIDIA теперь стремится к набору, который больше похож на меню кремниевых решений для каждой фазы ИИ, чем на лозунг «ГПУ повсюду»: - Обучение: высокопроходные ГПУ и ускорители, связанные с ГПУ - Настройка: оптимизированные по памяти компоненты с смешанной точностью - Инференция: ЛПУ и другие разработки, ориентированные на минимизацию задержек - Сетевое взаимодействие и соединение: NVLink, InfiniBand, нестандартные коммутаторы

Экономика вывода движет этим изменением. Обучение происходит периодически; вывод работает круглосуточно, на миллиардах запросов. Сообщенные компанией Groq 2–3-кратные ускорения по ключевым бенчмаркам вывода, в сочетании с детерминированным исполнением, приводят к снижению стоимости за токен и увеличению маржи для облачных провайдеров и предприятий.

Регуляторы могут рассматривать лицензионное соглашение; клиенты увидят единый дорожную карту оборудования NVIDIA. Забрав в команду Джонатана Росса и большую часть инженерного таланта Groq, одновременно лицензируя неэксклюзивные интеллектуальные права, NVIDIA получает умы и схемы, не провоцируя полномасштабную антимонопольную борьбу. Groq сохраняется как бренд, но NVIDIA контролирует центр притяжения.

NVIDIA также углубляет свои преимущества как "стандартный выбор" для AI-инфраструктуры. Если она сможет предложить единую программную платформу — CUDA, TensorRT, Triton — для GPU, LPU и всего, что появится в будущем, переход на Google TPU, AWS Trainium или кастомные ASIC станет еще сложнее. Разнообразие оборудования, зависимость от программного обеспечения.

На этом фоне сделка с Groq воспринимается как нечто большее, чем просто возможность; она напоминает написание конституции. NVIDIA утверждает себя в роли фундаментального аппаратного слоя ИИ, кремниевой основы, лежащей под каждым чат-ботом, сопроводителем и автономным агентом. Для тех, кто следит за деталями, NVIDIA объявляет о стратегическом лицензионном соглашении с Groq для ускорения ИИ-вывода воспринимается не как пресс-релиз, а как декларация империи.

Ваши ИИ-приложения только что получили план, чтобы избавиться от индикаторов загрузки. Сделка NVIDIA на 20 миллиардов долларов с Groq нацелена на тот самый момент, когда вы ощущаете ИИ: пауза между нажатием Enter и получением ответа. Эта пауза — инференс, и архитектура LPU от Groq существует, чтобы её устранить.

Сегодняшние крупнейшие модели часто отвечают в диапазоне от 30 до 800 мс на токен, в зависимости от аппаратного обеспечения и сети. Аппаратное обеспечение Groq уже показало в 2-3 раза более быструю инференцию по ключевым бенчмаркам, причем некоторые публичные демонстрации транслировали токены на скорости сотен токенов в секунду. Если это объединить с технологическим стеком NVIDIA, вы получаете чат-ботов, которые ощущаются не как сайт, а как настоящий разговор.

Ассистенты в реальном времени перестают быть маркетинговым термином и начинают вести себя как системный вызов. Представьте себе: - Голосовой ассистент, который отвечает менее чем за 50 мс, неотличимый от человеческого прерывания - Живая переводка, которая успевает за быстрой речью без неловких задержек - NPC в игре, которые импровизируют диалоги и стратегию каждую секунду, а не каждую сцену

Искусственный интеллект на устройствах может стать следующим значимым достижением. Когда NVIDIA внедрит инференс в стиле Groq в более эффективные кремниевые чипы, вы сможете перенести больше работы с облачных графических процессоров на локальные чипы. Это означает, что сложные задачи, такие как обобщение информации, многодокументный поиск или понимание видео, будут выполняться на ноутбуке, консоли или панели управления автомобиля практически без ощутимой задержки.

Разработчики получают самое большое творческое преимущество. Когда задержка снижается с сотен миллисекунд до десятков, вы можете объединять больше моделей, запускать больше агентов параллельно и поддерживать плотные циклы взаимодействия без ухода пользователей. Целые категории — ИИ-сопроводители внутри IDE, помощники по исследованиям в реальном времени, адаптивные учебные системы — внезапно становятся жизнеспособными в масштабе, а не выглядят как технологические демонстрации.

Снижение задержки также связано с затратами. Более быстрые и специализированные чипы для вывода означают больше запросов на ватт и на доллар. Это побуждает разработчиков реализовывать функции, которые было бы слишком дорого поддерживать в режиме «всегда включено», такие как фоновая обработка, непрерывный мониторинг документов или постоянная память NPC в масштабных онлайн-мировах.

Конкуренция не стоит на месте. AMD, Intel, Google и множество стартапов теперь имеют сигнал в 20 миллиардов долларов, указывающий на то, что ультрабыстрая инференция — это поле битвы. Эта гонка вооружений в аппаратном обеспечении ИИ не только сделает модели более умными; она также выведет по-настоящему мгновенный, повсеместный ИИ в mainstream-устройства на годы раньше намеченного срока.

NVIDIA действительно купила компанию Groq?

Нет. NVIDIA организовала сделку на сумму 20 миллиардов долларов для неэксклюзивной лицензии на интеллектуальную собственность Groq и найма ключевых специалистов, включая основателя Джонатана Росса. Это позволяет Groq оставаться независимой компанией, в первую очередь чтобы избежать антимонопольных регуляций.

Что такое Groq LPU и чем он отличается от графического процессора NVIDIA?

LPU, или единица обработки языка, — это специальный чип, разработанный специально для вывода ИИ — задачи выполнения моделей ИИ для получения ответов. Графические процессоры (GPU) являются более универсальными и традиционно превосходят в обучении ИИ, что является другим, более ресурсоемким процессом.

Почему выводы ИИ важнее обучения ИИ для дохода?

В то время как обучение модели является масштабной одноразовой или случайной задачей, инференция происходит каждый раз, когда пользователь задает вопрос или использует AI-функцию. Поскольку миллиарды людей пользуются AI каждый день, количество операций инференции экспоненциально превысит количество операций обучения, сделав её крупнейшим источником масштабируемых, долгосрочных доходов.

Кто такой Джонатан Росс?

Джонатан Росс является основателем компании Groq и изобретателем технологии LPU. Прежде чем начать работу в Groq, он был ключевым инженером в Google, где изобрел Tensor Processing Unit (TPU) — собственный чип для ИИ компании Google.