L'IA à 975B de paramètres qui entend l'audio brut

L'ancienne CTO d'OpenAI, Mira Murati, a lancé Thinking Machines, une startup valorisée à 12 milliards de dollars prête à défier le paysage du développement de l'IA fermée. Son entreprise défend les open-weight models puissants, visant à démocratiser les capacités avancées de l'IA et à offrir aux entreprises un contrôle et une personnalisation inégalés sur leurs systèmes intelligents.

L'offre inaugurale de Thinking Machines, Inkling, est une présence redoutable avec 975 milliards de paramètres. Cette échelle impressionnante est gérée par une architecture sophistiquée Mixture-of-Experts (MoE), où seuls 41 milliards de paramètres sont activement engagés pour un jeton donné, équilibrant puissance et efficacité computationnelle. Publié sous une licence permissive Apache 2.0, les poids complets d'Inkling sont accessibles ouvertement sur Hugging Face.

Crucialement, Thinking Machines ne positionne pas Inkling comme un concurrent de l'IA à usage général, mais comme un modèle de fondation stratégique. Bien qu'il puisse ne pas surpasser tous les benchmarks à large spectre, sa conception excelle en tant que point de départ pour des applications spécialisées. Le véritable potentiel d'Inkling est débloqué par le fine-tuning personnalisé, facilité exclusivement via la plateforme Tinker, permettant aux développeurs de créer des solutions hautement adaptées pour des tâches spécifiques à haut volume.

Inkling diverge radicalement des modèles multimodaux conventionnels en contournant le pré-traitement des entrées non textuelles. Plutôt que de transcrire l'audio en texte ou de décrire des images avec un encodeur de vision séparé, il ingère l'raw audio sous forme de spectrogrammes et les images sous forme de patchs de 40x40 pixels directement. Ceux-ci sont ensuite traités aux côtés des jetons textuels dans un espace représentationnel unifié.

Cette architecture novatrice minimise théoriquement la perte de données et la compression inhérentes aux méthodes traditionnelles, où l'information est inévitablement perdue lors de la conversion de données sensorielles riches en un intermédiaire textuel. Elle permet à Inkling de percevoir les nuances du son, telles que le style de parole, et pas seulement son contenu sémantique.

Thinking Machines est transparent sur les performances générales d'Inkling. Bien qu'il surpasse GLM 5.2 dans le suivi des instructions (79,8 contre 73,3), il est nettement moins performant sur les tâches agentiques Terminal-Bench (63,8 contre 82,7). Cela indique une compétence dans l'exécution de commandes directes mais une résolution de problèmes autonome plus faible.

De tels résultats de benchmark renforcent la conception d'Inkling en tant que spécialiste du fine-tuning, et non en tant que généraliste. Sa force réside dans la fourniture d'une base robuste et consciente des données brutes pour des tâches hautement spécifiques et à haut volume, en particulier celles impliquant des entrées audio ou visuelles nuancées, plutôt qu'un raisonnement large et non supervisé.

La véritable puissance d'Inkling émerge grâce au fine-tuning, et non à la performance générale brute. Ce processus enseigne aux modèles comment répondre — en façonnant le ton, le format et l'adhésion à des structures de sortie spécifiques, plutôt qu'en transmettant de nouvelles connaissances factuelles.

Considérez Harvey AI, qui a affiné un modèle plus petit pour extraire des citations juridiques. Ce modèle spécialisé a vu son score F1 passer de 0,56 à 0,68. Il a également égalé ou surpassé GPT-4.0 dans 93 % des cas, tout en fonctionnant plus rapidement et de manière plus rentable.

La plateforme Tinker de Thinking Machines rationalise cette personnalisation, permettant une adaptation rapide et spécifique à une tâche. Une démonstration convaincante a montré Inkling en train de s'auto-ajuster pour manifester une « epsilonphobie » — ne jamais utiliser la lettre « e » — en incitant le modèle à corriger automatiquement ses données d'entraînement et à exécuter l'intégralité du processus de fine-tuning. Les réponses obtenues, malgré la contrainte linguistique, restaient remarquablement cohérentes.

Le fondement de cette efficacité est le Low-Rank Adaptation (LoRA). LoRA gèle les 975 milliards de paramètres originaux et injecte des matrices légères et plus petites pour capturer de nouvelles données spécifiques. Cette approche réduit considérablement le coût et la vitesse de personnalisation par rapport au réentraînement complet d'un modèle, rendant l'IA sur mesure accessible pour des applications de niche.

Cette adaptation ciblée signifie que les entreprises peuvent créer des agents hautement spécialisés pour des tâches à volume élevé et restreintes. Pour ceux qui souhaitent explorer l'architecture open-weight d'Inkling et obtenir plus de détails, ses ressources sont disponibles sur thinkingmachines/Inkling - Hugging Face.

Inkling n'est pas conçu comme un outil polyvalent ; ses créateurs chez Thinking Machines reconnaissent ouvertement que ses performances sur des benchmarks larges comme Terminal-Bench sont en retrait par rapport aux modèles de pointe. Pour des tâches vastes et non spécialisées, les IA fermées établies restent la référence. Cependant, pour un travail restreint et à haut volume soutenu par des données étiquetées robustes, Inkling s'impose comme un concurrent redoutable, conçu spécifiquement pour le fine-tuning approfondi.

Sur la plateforme Tinker, Inkling se distingue par deux niches uniques. C'est le seul modèle capable de traiter l'audio brut directement sous forme de spectrogrammes, évitant ainsi la perte de données inhérente à la transcription textuelle. Cette approche directe permet une analyse sans précédent des propriétés intrinsèques du son. De plus, les utilisateurs peuvent ajuster finement son effort de réflexion avec un curseur granulaire de 0 à 1, offrant un contrôle bien supérieur aux réglages habituels bas, moyen ou élevé trouvés dans d'autres modèles.

Le choix d'Inkling dépend de la spécificité de votre application. Il excelle dans les tâches audio spécialisées telles que la dictée médicale, apprenant habilement des noms de médicaments complexes, ou effectuant une classification sophistiquée du style de parole pour discerner comment quelque chose a été dit. Lorsque la personnalisation approfondie, l'analyse audio directe et le fine-tuning d'un modèle pour une fonction précise et répétable sont des objectifs prioritaires, Inkling offre une solution open-weight inégalée.

Qu'est-ce que le modèle d'IA Inkling ?

Inkling est un modèle Mixture-of-Experts (MoE) open-weight de 975 milliards de paramètres provenant de Thinking Machines, une startup fondée par l'ancienne CTO d'OpenAI, Mira Murati. Il est principalement conçu pour le fine-tuning sur des tâches spécifiques.

Comment Inkling traite-t-il l'audio et les images différemment ?

Contrairement aux modèles qui convertissent d'abord l'audio/les images en descriptions textuelles, Inkling traite les données brutes directement. Il ingère l'audio sous forme de spectrogrammes et les images sous forme de patchs de pixels, en les mélangeant avec des jetons textuels pour réduire la perte de données et améliorer la fidélité.

Inkling est-il meilleur que GPT-4 ?

Inkling n'est pas conçu pour être un modèle généraliste plus puissant que GPT-4. Sa force réside dans le fait d'être un modèle de base hautement efficace pour le fine-tuning sur des tâches étroites et spécifiques, où une version personnalisée peut surpasser les modèles généraux en termes de précision et d'efficacité.

Qu'est-ce que la plateforme Tinker ?

Tinker est la plateforme de Thinking Machines conçue pour personnaliser et affiner (fine-tuning) des modèles d'IA comme Inkling. Elle simplifie le processus d'adaptation d'un modèle à une tâche hautement spécifique, en utilisant des techniques comme LoRA pour un entraînement rentable.