Google только что уничтожил посредника в ИИ

Мультимодальный ИИ долгое время был ограничен неуклюжей, неэффективной архитектурой. «Старый способ» включал «склеивание» трех тяжелых, отдельных моделей: кодировщика зрения, кодировщика аудио и основной большой языковой модели (LLM). Языковые модели по своей природе понимают токены — фрагменты текста, преобразованные в числа, — а не необработанные пиксели или звуковые волны. Это требовало массивных, отдельных кодировщиков для первоначального перехвата и перевода визуальных и звуковых данных в формат, который LLM мог бы понять.

Эта многокомпонентная установка означает, что при взаимодействии с мультимодальным ИИ одновременно работают три отдельные сети. Такая архитектура сильно нагружает VRAM и вычислительную мощность, делая локальную производительность в реальном времени на стандартных ноутбуках практически невозможной. Постоянная передача данных и избыточная обработка создают значительные вычислительные накладные расходы.

Чтобы проиллюстрировать эту раздутость, рассмотрим типичный кодировщик зрения. Это не простые преобразователи; они массивны, часто содержат поразительные 550 миллионов параметров. Традиционный кодировщик требует обширных данных для изменения формы, сопоставления и понимания изображения. Он использует десятки внутренних слоев внимания для вычисления связей между пикселями, различения краев, идентификации форм и распознавания объектов до того, как какие-либо данные достигнут основной LLM. Эта тяжелая обработка «посредником» — это именно та неэффективность, которую устраняет Gemma 4.

Gemma 4 12B от Google DeepMind радикально переопределяет мультимодальную обработку, полностью удаляя тяжелый кодировщик зрения. Вместо того чтобы подавать изображения через отдельную, сложную сеть, Gemma 4 нарезает их на патчи размером 48x48 пикселей. Этот подход обходит традиционный кодировщик, который может содержать сотни миллионов параметров и десятки слоев внимания, предназначенных для интерпретации визуальных данных.

Эти необработанные пиксельные патчи затем проходят через один тонкий математический шаг: линейную проекцию. Это не мыслительный движок; он действует как сверхбыстрый преобразователь формата. Массивная сетка чисел берет 2304 значения пикселей из каждого патча, умножает их и растягивает в одну строку. Этот вывод идеально соответствует внутреннему формату текстовых токенов LLM, позволяя необработанным визуальным данным бесшовно интегрироваться.

DeepMind осознала, что основная архитектура большой языковой модели уже обладает интеллектом для визуального рассуждения. Удалив «мыслительные слои» отдельного кодировщика, которые традиционно вычисляют отношения между пикселями и идентифицируют объекты, они сократили визуальный компонент до всего лишь 35 миллионов параметров. Эта статическая, однослойная карта не выполняет никакого аналитического мышления; она просто форматирует данные, освобождая VRAM и позволяя LLM нативно обрабатывать сложный визуальный интеллект.

Gemma 4 12B обеспечивает невероятные скорости, выполняя анализ зрения и аудио почти в реальном времени на стандартном M2 MacBook Pro — и все это без подключения к интернету. Этот радикально эффективный дизайн преобразует локальный ИИ, устраняя узкие места в обработке и чрезмерное потребление VRAM, которые преследовали предыдущие мультимодальные архитектуры. Подход DeepMind без кодировщика позволяет основной LLM нативно обрабатывать сложные задачи, открывая мощные автономные возможности для повседневных устройств.

Обработка аудио отражает изобретательность «визуального хака», рассматривая необработанный аудиосигнал 16 кГц как непрерывный поток токенов. Модель нарезает звук на 40-миллисекундные кадры, каждый из которых содержит 640 чисел с плавающей запятой. Простой проекционный слой затем напрямую отображает их во входное пространство LLM. Для трансформерной основы эти аудио блоки неотличимы от текстовых токенов, что обеспечивает бесшовную транскрипцию в реальном времени, перевод и форматирование текста за один эффективный проход.

Устранение избыточности кодировщика позволяет Gemma 4 12B вмещать мощь гораздо более крупных моделей — приближаясь к производительности моделей с 26 миллиардами параметров — в крошечный объем. Эта инновационная архитектура легко помещается в 16-24 ГБ VRAM, делая надежный локальный AI доступным на потребительском оборудовании. Для разработчиков, желающих изучить этот прорыв, Google предлагает исчерпывающую документацию в Gemma 4 12B: The Developer Guide.

Gemma 4 12B представляет собой глубокий сдвиг, а не просто очередной выпуск модели. Google окончательно доказал, что единая интеллектуальная языковая основа способна обрабатывать необработанные сенсорные данные — от необработанных фрагментов пикселей 48x48 до 40-миллисекундных аудиокадров — без необходимости в тяжелых предварительных кодировщиках. Этот новаторский подход демонстрирует, что присущие LLM слои рассуждений могут выполнять нативное визуальное и аудио восприятие, фундаментально переопределяя мультимодальный AI.

Последствия для edge AI значительны. Устранив сотни миллионов параметров, ранее предназначенных для кодирования, модель Gemma 4 с 12 миллиардами параметров достигает почти реального времени мультимодального анализа на таких устройствах, как стандартный M2 MacBook Pro с 16 ГБ VRAM. Это обеспечивает мощные, полностью автономные возможности AI, освобождая пользователей от зависимости от облака и связанных с этим задержек и проблем конфиденциальности, приближая передовой AI к пользователю.

В конечном итоге, эта бескодировочная философия вдохновит новое поколение по-настоящему интегрированных мультимодальных архитектур. Радикально эффективные и мощные, будущие модели, вероятно, откажутся от «привинченного» подхода отдельных визуальных и аудио сетей, как это было в предыдущих разработках. Вместо этого они примут единый AI-мозг, который нативно понимает мир через свои необработанные сенсорные входы, фундаментально меняя то, как мы взаимодействуем с интеллектуальными системами, и стимулируя инновации в локальной обработке AI.

Что такое Gemma 4 12B?

Gemma 4 12B — это новая мультимодальная AI-модель с 12 миллиардами параметров от Google DeepMind. Ее ключевое новшество — «бескодировочная» архитектура, которая позволяет ей обрабатывать изображения и аудио гораздо эффективнее, чем предыдущие модели.

Что означает «бескодировочный» в AI?

Это означает, что модель обрабатывает необработанные данные, такие как пиксели и звуковые волны, напрямую, без необходимости в отдельных, вычислительно тяжелых моделях-«кодировщиках», которые сначала переводят эти данные в формат, понятный основной языковой модели.

Как Gemma 4 12B обрабатывает изображения так быстро?

Вместо массивного визуального кодировщика, Gemma 4 использует легкий слой «линейной проекции». Этот единственный математический шаг быстро переформатирует небольшие фрагменты пикселей, чтобы они соответствовали входному формату языковой модели, позволяя мощной основе LLM обрабатывать фактическое визуальное рассуждение.

Каковы основные преимущества этой новой архитектуры?

Основные преимущества — значительно более высокие скорости обработки, меньшее использование VRAM и памяти, а также возможность запуска мощного, мультимодального AI в реальном времени полностью в автономном режиме на стандартном потребительском оборудовании, таком как ноутбуки.