Google vient de tuer TensorFlow.js

TensorFlow.js a été la bibliothèque d'apprentissage automatique basée sur navigateur de Google pendant des années, mais elle a toujours rencontré un obstacle : les noyaux basés sur JavaScript. Ces noyaux constituent un goulot d'étranglement important, incapables d'exploiter pleinement le matériel CPU ou GPU comme un runtime natif le peut. Ils peinent avec l'interaction matérielle directe et le traitement parallèle, ce qui signifie que TensorFlow.js a constamment été en deçà des performances des applications natives.

Google vient de briser ce goulot d'étranglement avec LiteRT.js. Ce n'est pas seulement une mise à jour ; c'est une révolution. LiteRT.js est une liaison JavaScript pour LiteRT, le runtime d'inférence sur appareil éprouvé de Google qui a alimenté Android, iOS et le matériel embarqué pendant des années. Maintenant, ce même moteur optimisé arrive dans votre navigateur.

LiteRT.js y parvient en tirant parti de WebAssembly (WASM), livré avec ses propres noyaux optimisés. Vous n'obtenez plus une « couche d'abstraction de type web » qui a du mal avec l'accès au matériel. Au lieu de cela, vous obtenez un moteur d'exécution natif véritablement optimisé, compilé en WASM, exposant directement les mêmes capacités matérielles hautes performances auparavant exclusives à l'inférence Android et iOS. Cela représente un changement fondamental dans l'IA basée sur navigateur.

LiteRT.js ne promet pas seulement la vitesse ; il la délivre avec un backend astucieux à trois niveaux conçu pour tirer le maximum de performances de n'importe quel appareil. Cette architecture assure une compatibilité universelle et des performances extrêmes là où le matériel le permet.

Pour une compatibilité universelle, LiteRT.js utilise par défaut XNNPACK pour l'inférence basée sur CPU. Il s'agit de la bibliothèque de noyaux CPU multithread optimisée de Google, complète avec la prise en charge SIMD assouplie. Elle agit comme un mécanisme de repli robuste et universel, garantissant que les modèles d'apprentissage automatique s'exécutent efficacement sur n'importe quel appareil, même ceux dépourvus de GPU dédié.

Lorsque le matériel le permet, LiteRT.js passe à la vitesse supérieure avec MLDrift over WebGPU. C'est la principale voie d'accélération GPU, tirant parti directement des noyaux GPU natifs. Cela élimine le goulot d'étranglement de performance de l'orchestration JavaScript pour les shaders qui a affligé TensorFlow.js, permettant des vitesses d'inférence significativement plus rapides en déplaçant les calculs tensoriels hors du CPU.

Tourné vers l'avenir, LiteRT.js inclut également un support expérimental pour les NPU via l'API WebNN. Disponible dans Chrome et Edge via les Origin Trials, cela cible le matériel de traitement neuronal dédié. Il promet une efficacité énergétique améliorée et une inférence encore plus rapide pour les charges de travail d'IA spécialisées à mesure que l'intégration des NPU devient plus courante dans les appareils grand public.

Cette approche intelligente et stratifiée garantit que LiteRT.js offre à la fois une large compatibilité sur la plus vaste gamme d'appareils et débloque des performances maximales sur le silicium moderne. Il pérennise efficacement l'IA basée sur navigateur, rendant l'apprentissage automatique avancé véritablement pratique pour les applications web.

Les affirmations de Google concernant LiteRT.js sont impressionnantes, mais peuvent-elles être tenues ? Selon leurs benchmarks officiels, réalisés sur un MacBook Pro 2024 avec M4 silicon, LiteRT.js atteint une inférence jusqu'à 3x plus rapide que les autres runtimes web sur les modèles de vision et d'audio courants sur CPU et GPU. Les tâches plus exigeantes, comme le suivi d'objets ou la manipulation d'images sur le GPU ou le NPU, voient des gains encore plus importants, avec des augmentations de performance passant de 5x à des résultats massifs 60x plus rapides, selon la tâche.

Des tests indépendants confirment largement ces affirmations plus modestes. Par exemple, une application de capture de mouvement 3D en temps réel, fonctionnant entièrement dans le navigateur, a démontré un solide 120 frames per second utilisant WebGPU comparé à 38 FPS sur le CPU. Cela se traduit par une augmentation d'environ 3x du taux de rafraîchissement et une diminution de 2.8x du temps d'inférence, validant directement les chiffres moins extrêmes de Google dans un scénario pratique.

Naturellement, vous devriez gérer vos attentes ; ces chiffres spectaculaires ne sont pas garantis pour tout le monde. Google reconnaît lui-même qu'il s'agit de scénarios optimaux. Votre expérience réelle variera considérablement en fonction de votre GPU spécifique, du thermal throttling potentiel et de la qualité des pilotes de votre appareil. Pour ceux qui souhaitent approfondir les spécificités techniques, Google propose une documentation complète sur LiteRT for Web with LiteRT.js | Google AI Edge.

Au-delà de la vitesse pure, LiteRT.js offre des avantages pratiques significatifs qui impactent directement votre budget et votre flux de travail. Vous pouvez désormais exécuter des .tflite models existants directement dans le navigateur, éliminant les conversions complexes et économisant du temps de développement. Pour les utilisateurs de PyPyTorch, LiteRT PyTorch offre un chemin direct vers les fichiers `.tflite`, et un AI AI Edge Quantizer réduit la taille des modèles sans réécriture complète. Cela abaisse considérablement la barrière pour les développeurs souhaitant apporter une IA sophistiquée au web.

Ce bond de performance permet une toute nouvelle classe d'applications web, déplaçant le traitement lourd des serveurs distants. Imaginez la détection d'objets YOLO en temps réel ou l'estimation de pose 3D utilisant votre webcam, le tout fonctionnant directement dans votre navigateur. Ces client-side operations garantissent une confidentialité accrue de l'utilisateur et éliminent les coûts de serveur, rendant les fonctionnalités d'IA avancées plus accessibles et abordables pour les développeurs et les entreprises. Les démos de Google présentent déjà des capacités impressionnantes comme l'estimation de profondeur monoculaire et l'upscaling d'image.

L'avenir semble encore plus prometteur pour l'IA basée sur le navigateur. Google a déjà annoncé LiteRT-LM.js, qui apportera ces avantages de performance aux grands modèles de langage. Cela signifie exécuter des LLMs complets, comme les variantes Gemma 4 optimisées pour le web, localement dans le navigateur, ouvrant la voie à des expériences d'IA avancées et privées sans dépendre de serveurs distants. C'est un véritable tournant pour l'IA sur appareil.

Qu'est-ce que LiteRT.js ?

LiteRT.js est une nouvelle bibliothèque JavaScript de Google qui permet aux développeurs d'exécuter des modèles d'apprentissage automatique à des vitesses quasi natives directement dans un navigateur web. Il utilise WebAssembly pour apporter le moteur d'inférence LiteRT haute performance de Google, déjà utilisé sur Android et iOS, au web.

En quoi LiteRT.js est-il plus rapide que TensorFlow.js ?

TensorFlow.js repose sur des noyaux basés sur JavaScript, ce qui crée un goulot d'étranglement de performance. LiteRT.js contourne cela en compilant ses noyaux C++ optimisés en WebAssembly, lui permettant de tirer parti directement et plus efficacement du matériel CPU et GPU pour une inférence significativement plus rapide.

TensorFlow.js est-il complètement obsolète maintenant ?

Pas entièrement. Bien que LiteRT.js soit positionné comme un puissant remplaçant pour l'inférence de modèles grâce à ses performances supérieures, TensorFlow.js peut toujours être utile pour les tâches de pré- et post-traitement dans un pipeline d'IA. Les développeurs peuvent utiliser LiteRT.js spécifiquement pour l'étape d'exécution du modèle tout en conservant leur code TensorFlow.js existant pour la manipulation des données.

Quel type de modèles LiteRT.js peut-il exécuter ?

LiteRT.js peut exécuter tout modèle existant enregistré au format TensorFlow Lite (.tflite). Il offre également un chemin de conversion direct pour les modèles de PyTorch, JAX et TensorFlow standard, le rendant hautement compatible avec les flux de travail ML existants.