Google vient de tuer l'intermédiaire de l'IA

L'IA multimodale a longtemps été entravée par une architecture maladroite et inefficace. L'« ancienne méthode » impliquait de « coller » trois modèles lourds et distincts : un encodeur de vision, un encodeur audio et le modèle de langage étendu (LLM) central. Les modèles de langage comprennent intrinsèquement les jetons — des morceaux de texte convertis en nombres — et non les pixels bruts ou les ondes sonores. Cela nécessitait des encodeurs massifs et distincts pour d'abord intercepter et traduire les données visuelles et auditives dans un format que le LLM pouvait comprendre.

Cette configuration multi-composants signifie que lorsque vous interagissez avec l'IA multimodale, trois réseaux distincts fonctionnent simultanément. Une telle architecture accapare sévèrement la VRAM et la puissance de traitement, rendant les performances locales en temps réel sur des ordinateurs portables standard pratiquement impossibles. Le transfert constant de données et le traitement redondant créent une surcharge computationnelle significative.

Pour illustrer ce gonflement, considérons un encodeur de vision typique. Ce ne sont pas de simples convertisseurs ; ils sont massifs, contenant souvent un nombre étonnant de 550 millions de paramètres. Un encodeur traditionnel nécessite des données étendues pour remodeler, mapper et comprendre une image. Il utilise des dizaines de couches d'attention internes pour calculer les relations entre les pixels, discerner les bords, identifier les formes et reconnaître les objets avant que toute donnée n'atteigne le LLM principal. Ce traitement lourd par l'« intermédiaire » est précisément l'inefficacité que Gemma 4 élimine.

Le Gemma 4 12B de Google DeepMind redéfinit radicalement le traitement multimodal en supprimant entièrement l'encodeur de vision lourd. Au lieu de faire passer les images à travers un réseau séparé et complexe, Gemma 4 les découpe en patchs de 48x48 pixels. Cette approche contourne l'encodeur traditionnel, qui peut contenir des centaines de millions de paramètres et des dizaines de couches d'attention dédiées à l'interprétation des données visuelles.

Ces patchs de pixels bruts passent ensuite par une seule et fine étape mathématique : la projection linéaire. Ce n'est pas un moteur de réflexion ; il agit comme un convertisseur de format ultra-rapide. Une grille massive de nombres prend les 2 304 valeurs de pixels de chaque patch, les multiplie et les étire en une seule ligne. Cette sortie correspond parfaitement au format de jeton de texte interne du LLM, permettant aux données visuelles brutes de s'intégrer de manière transparente.

DeepMind a réalisé que le cœur du modèle de langage étendu possède déjà l'intelligence nécessaire au raisonnement visuel. En supprimant les « couches de réflexion » de l'encodeur séparé, qui calculent traditionnellement les relations entre les pixels et identifient les objets, ils ont réduit le composant de vision à seulement 35 millions de paramètres. Cette carte statique à couche unique ne fait aucune réflexion analytique ; elle formate simplement les données, libérant de la VRAM et permettant au LLM de gérer l'intelligence visuelle complexe de manière native.

Gemma 4 12B offre des vitesses fulgurantes, exécutant une analyse de vision et audio quasi en temps réel sur un M2 MacBook Pro standard — le tout sans connexion internet. Cette conception radicalement efficace transforme l'IA locale, éliminant les goulots d'étranglement de traitement et l'accaparement de la VRAM qui affligeaient les architectures multimodales précédentes. L'approche sans encodeur de DeepMind permet au LLM principal de gérer des tâches complexes de manière native, débloquant de puissantes capacités hors ligne pour les appareils quotidiens.

Le traitement audio reflète l'ingéniosité du hack de vision, traitant un signal audio brut de 16 kHz comme un flux continu de tokens. Le modèle découpe le son en trames de 40 millisecondes, chacune contenant 640 nombres à virgule flottante. Une simple couche de projection mappe ensuite ces données directement dans l'espace d'entrée du LLM. Pour le transformer backbone, ces blocs audio sont indiscernables des text tokens, permettant une transcription, une traduction et un formatage de texte en direct fluides, en un seul passage efficace.

L'élimination de l'encombrement de l'encodeur permet à Gemma 4 12B de concentrer la puissance de modèles beaucoup plus grands – approchant les performances de modèles à 26 milliards de paramètres – dans une empreinte minuscule. Cette architecture innovante s'intègre facilement dans 16-24GB de VRAM, rendant l'IA robuste et locale accessible sur le matériel grand public. Pour les développeurs désireux d'explorer cette avancée, Google propose une documentation complète dans Gemma 4 12B: The Developer Guide.

Gemma 4 12B représente un changement profond, pas simplement une autre version de modèle. Google a définitivement prouvé qu'un seul backbone linguistique intelligent est capable de traiter des données sensorielles brutes — des patches de pixels bruts de 48x48 aux trames audio de 40 millisecondes — sans avoir besoin d'encodeurs de pré-traitement lourds. Cette approche révolutionnaire démontre que les couches de raisonnement inhérentes d'un LLM peuvent effectuer une compréhension visuelle et audio native, redéfinissant fondamentalement l'multimodal AI.

Les implications pour l'edge AI sont substantielles. En supprimant des centaines de millions de paramètres précédemment dédiés à l'encodage, le modèle Gemma 4 de 12 milliards de paramètres réalise une analyse multimodale quasi en temps réel sur des appareils comme un M2 MacBook Pro standard avec 16 GB de VRAM. Cela permet des expériences d'IA puissantes et entièrement hors ligne, libérant les utilisateurs de la dépendance au cloud et de la latence et des préoccupations de confidentialité associées, rapprochant l'IA avancée de l'utilisateur.

En fin de compte, cette philosophie sans encodeur inspirera une nouvelle génération d'architectures multimodales véritablement intégrées. Radicalement efficaces et puissants, les futurs modèles abandonneront probablement l'approche « boulonnée » de réseaux de vision et audio séparés, comme on l'a vu dans les conceptions précédentes. Au lieu de cela, ils adopteront un cerveau d'IA unifié qui comprend nativement le monde à travers ses entrées sensorielles brutes, changeant fondamentalement la façon dont nous interagissons avec les systèmes intelligents et stimulant l'innovation dans le local AI processing.

Qu'est-ce que Gemma 4 12B ?

Gemma 4 12B est un nouveau modèle d'multimodal AI de 12 milliards de paramètres de Google DeepMind. Son innovation clé est une architecture « sans encodeur » qui lui permet de traiter les images et l'audio beaucoup plus efficacement que les modèles précédents.

Que signifie « sans encodeur » en AI ?

Cela signifie que le modèle traite les données brutes comme les pixels et les ondes audio directement, sans avoir besoin de modèles « encodeurs » séparés et gourmands en calcul pour traduire d'abord ces données dans un format que le modèle de langage principal peut comprendre.

Comment Gemma 4 12B traite-t-il les images si rapidement ?

Au lieu d'un vision encoder massif, Gemma 4 utilise une couche de « projection linéaire » légère. Cette seule étape mathématique reformate rapidement de petites portions de pixels pour correspondre au format d'entrée du modèle de langage, laissant le puissant backbone du LLM gérer le raisonnement visuel réel.

Quels sont les principaux avantages de cette nouvelle architecture ?

Les principaux avantages sont des vitesses de traitement significativement plus rapides, une consommation de VRAM et de mémoire réduite, et la capacité d'exécuter une multimodal AI puissante et en temps réel entièrement hors ligne sur du matériel grand public standard comme les ordinateurs portables.