Google acaba de eliminar al intermediario de la IA

La IA multimodal ha estado durante mucho tiempo obstaculizada por una arquitectura torpe e ineficiente. La "forma antigua" implicaba "unir con cinta adhesiva" tres modelos pesados y separados: un codificador de visión, un codificador de audio y el modelo de lenguaje grande (LLM) central. Los modelos de lenguaje entienden inherentemente los tokens —fragmentos de texto convertidos en números—, no píxeles en bruto u ondas sonoras. Esto requería codificadores masivos y distintos para interceptar y traducir primero los datos visuales y auditivos a un formato que el LLM pudiera comprender.

Esta configuración de múltiples componentes significa que cuando interactúas con la IA multimodal, tres redes separadas se ejecutan simultáneamente. Una arquitectura así consume severamente VRAM y potencia de procesamiento, haciendo que el rendimiento local en tiempo real en laptops estándar sea prácticamente imposible. El constante traslado de datos y el procesamiento redundante crean una sobrecarga computacional significativa.

Para ilustrar esta hinchazón, considera un codificador de visión típico. Estos no son simples convertidores; son masivos, a menudo contienen la asombrosa cifra de 550 millones de parámetros. Un codificador tradicional requiere una gran cantidad de datos para remodelar, mapear y comprender una imagen. Emplea docenas de capas de atención internas para calcular relaciones entre píxeles, discernir bordes, identificar formas y reconocer objetos antes de que cualquier dato llegue al LLM principal. Este procesamiento pesado por parte del "intermediario" es precisamente la ineficiencia que Gemma 4 elimina.

Gemma 4 12B de Google DeepMind redefine radicalmente el procesamiento multimodal al eliminar por completo el pesado codificador de visión. En lugar de alimentar imágenes a través de una red separada y compleja, Gemma 4 las corta en parches de píxeles de 48x48. Este enfoque evita el codificador tradicional, que puede contener cientos de millones de parámetros y docenas de capas de atención dedicadas a interpretar datos visuales.

Estos parches de píxeles en bruto pasan luego por un único y delgado paso matemático: la proyección lineal. Esto no es un motor de pensamiento; actúa como un convertidor de formato súper rápido. Una enorme cuadrícula de números toma los 2.304 valores de píxeles de cada parche, los multiplica y los estira en una sola fila. Esta salida coincide perfectamente con el formato de token de texto interno del LLM, permitiendo que los datos visuales en bruto se integren sin problemas.

DeepMind se dio cuenta de que el núcleo del modelo de lenguaje grande ya posee la inteligencia para el razonamiento visual. Al eliminar las "capas de pensamiento" del codificador separado, que tradicionalmente calculan las relaciones entre píxeles e identifican objetos, redujeron el componente de visión a solo 35 millones de parámetros. Este mapa estático de una sola capa no realiza ningún pensamiento analítico; simplemente formatea los datos, liberando VRAM y capacitando al LLM para manejar la inteligencia visual compleja de forma nativa.

Gemma 4 12B ofrece velocidades asombrosas, ejecutando análisis de visión y audio casi en tiempo real en un M2 MacBook Pro estándar, todo sin conexión a internet. Este diseño radicalmente eficiente transforma la IA local, eliminando los cuellos de botella de procesamiento y el consumo excesivo de VRAM que plagaban las arquitecturas multimodales anteriores. El enfoque sin codificador de DeepMind permite que el LLM principal maneje tareas complejas de forma nativa, desbloqueando potentes capacidades offline para dispositivos cotidianos.

El procesamiento de audio refleja el ingenio del vision hack, tratando una señal de audio cruda de 16 kHz como un flujo continuo de tokens. El modelo divide el sonido en 40-millisecond frames, cada uno conteniendo 640 floating-point numbers. Una simple capa de proyección luego los mapea directamente al espacio de entrada del LLM. Para el transformer backbone, estos bloques de audio son indistinguibles de los tokens de texto, lo que permite una transcripción, traducción y formato de texto en vivo sin interrupciones en una sola pasada eficiente.

Eliminar el exceso del encoder permite a Gemma 4 12B empaquetar la potencia de modelos mucho más grandes —acercándose al rendimiento de modelos de 26 mil millones de parámetros— en un tamaño diminuto. Esta arquitectura innovadora cabe fácilmente dentro de 16-24GB de VRAM, haciendo que la AI local y robusta sea accesible en hardware de consumo. Para los desarrolladores interesados en explorar este avance, Google ofrece documentación completa en Gemma 4 12B: The Developer Guide.

Gemma 4 12B representa un cambio profundo, no simplemente otro lanzamiento de modelo. Google ha demostrado definitivamente que un único y potente backbone de lenguaje es capaz de procesar datos sensoriales crudos —desde raw 48x48 pixel patches hasta 40-millisecond audio frames— sin la necesidad de encoders pesados de preprocesamiento. Este enfoque innovador demuestra que las capas de razonamiento inherentes de un LLM pueden realizar una comprensión visual y de audio nativa, redefiniendo fundamentalmente la AI multimodal.

Las implicaciones para la edge AI son sustanciales. Al eliminar cientos de millones de parámetros dedicados previamente a la codificación, el modelo Gemma 4 de 12 mil millones de parámetros logra un análisis multimodal casi en tiempo real en dispositivos como un M2 MacBook Pro estándar con 16 GB de VRAM. Esto permite experiencias de AI potentes y completamente offline, liberando a los usuarios de la dependencia de la nube y sus preocupaciones asociadas de latencia y privacidad, acercando la AI avanzada al usuario.

En última instancia, esta filosofía encoder-free inspirará una nueva generación de arquitecturas multimodales verdaderamente integradas. Radicalmente eficientes y potentes, los modelos futuros probablemente abandonarán el enfoque "atornillado" de redes de visión y audio separadas, como se veía en diseños anteriores. En cambio, adoptarán un unified AI brain que comprende el mundo de forma nativa a través de sus entradas sensoriales crudas, cambiando fundamentalmente cómo interactuamos con los sistemas inteligentes e impulsando la innovación en el procesamiento local de AI.

¿Qué es Gemma 4 12B?

Gemma 4 12B es un nuevo modelo de AI multimodal de 12 mil millones de parámetros de Google DeepMind. Su innovación clave es una arquitectura 'encoder-free' que le permite procesar imágenes y audio de manera mucho más eficiente que los modelos anteriores.

¿Qué significa 'encoder-free' en AI?

Significa que el modelo procesa datos crudos como píxeles y ondas de audio directamente, sin necesidad de modelos 'encoder' separados y computacionalmente pesados para traducir primero esos datos a un formato que el modelo de lenguaje principal pueda entender.

¿Cómo procesa Gemma 4 12B las imágenes tan rápido?

En lugar de un vision encoder masivo, Gemma 4 utiliza una capa ligera de 'linear projection'. Este único paso matemático reformatea rápidamente pequeños parches de píxeles para que coincidan con el formato de entrada del modelo de lenguaje, permitiendo que el potente backbone del LLM maneje el razonamiento visual real.

¿Cuáles son los principales beneficios de esta nueva arquitectura?

Los beneficios principales son velocidades de procesamiento significativamente más rápidas, menor uso de VRAM y memoria, y la capacidad de ejecutar una potente AI multimodal en tiempo real completamente offline en hardware de consumo estándar como laptops.