Google hat TensorFlow.js gerade gekillt

TensorFlow.js war jahrelang Googles browserbasierte Machine-Learning-Bibliothek, stieß aber immer an eine Grenze: JavaScript-basierte Kernels. Diese Kernels sind ein erheblicher Engpass, der CPU- oder GPU-Hardware nicht vollständig ausnutzen kann, wie es eine native Laufzeitumgebung vermag. Sie haben Schwierigkeiten mit direkter Hardware-Interaktion und paralleler Verarbeitung, was bedeutet, dass TensorFlow.js der Leistung nativer Anwendungen stets hinterherhinkte.

Google hat diesen Engpass soeben mit LiteRT.js zerschmettert. Dies ist nicht bloß ein Update; es ist ein Game-Changer. LiteRT.js ist ein JavaScript-Binding für LiteRT, Googles bewährte On-Device-Inferenz-Laufzeitumgebung, die seit Jahren Android, iOS und eingebettete Hardware antreibt. Jetzt kommt dieselbe optimierte Engine in Ihrem Browser an.

LiteRT.js erreicht dies durch die Nutzung von WebAssembly (WASM) und wird mit eigenen optimierten Kernels ausgeliefert. Sie erhalten keine „web-aromatisierte Abstraktionsschicht“ mehr, die mit dem Hardwarezugriff kämpft. Stattdessen erhalten Sie eine wirklich optimierte, native Laufzeit-Engine, die zu WASM kompiliert wurde und direkt dieselben Hochleistungs-Hardwarefunktionen freilegt, die zuvor exklusiv für Android- und iOS-Inferenz waren. Dies stellt eine grundlegende Verschiebung in der browserbasierten KI dar.

LiteRT.js verspricht nicht nur Geschwindigkeit; es liefert sie mit einem cleveren, dreistufigen Backend, das darauf ausgelegt ist, maximale Leistung aus jedem Gerät herauszuholen. Diese Architektur gewährleistet universelle Kompatibilität und extreme Leistung, wo die Hardware es zulässt.

Für universelle Kompatibilität greift LiteRT.js standardmäßig auf XNNPACK für CPU-basierte Inferenz zurück. Dies ist Googles optimierte, Multi-Thread-CPU-Kernel-Bibliothek, komplett mit entspanntem SIMD-Support. Sie dient als robuster, universeller Fallback, der sicherstellt, dass Machine-Learning-Modelle auf jedem Gerät effizient ausgeführt werden, selbst auf solchen ohne dedizierte GPU.

Wo die Hardware es zulässt, schaltet LiteRT.js mit MLDrift über WebGPU in den Hochgeschwindigkeitsmodus. Dies ist der primäre GPU-Beschleunigungspfad, der native GPU-Kernels direkt nutzt. Er eliminiert den Leistungsengpass der JavaScript-Orchestrierung für Shader, der TensorFlow.js plagte, und ermöglicht so deutlich schnellere Inferenzgeschwindigkeiten, indem Tensor-Berechnungen von der CPU verlagert werden.

Mit Blick in die Zukunft beinhaltet LiteRT.js auch experimentelle Unterstützung für NPUs über die WebNN API. Verfügbar in Chrome und Edge über Origin Trials, zielt dies auf dedizierte neuronale Verarbeitungshardware ab. Es verspricht verbesserte Energieeffizienz und noch schnellere Inferenz für spezialisierte KI-Workloads, da die NPU-Integration in Consumer-Geräten immer häufiger wird.

Dieser intelligente, geschichtete Ansatz garantiert, dass LiteRT.js sowohl breite Kompatibilität über die größte Bandbreite von Geräten bietet als auch Spitzenleistung auf modernem Silizium freischaltet. Es macht browserbasierte KI effektiv zukunftssicher, wodurch fortschrittliches Machine Learning für Webanwendungen wirklich praktikabel wird.

Googles Behauptungen für LiteRT.js sind beeindruckend, aber können sie auch liefern? Laut ihren offiziellen Benchmarks, durchgeführt auf einem 2024 MacBook Pro mit M4 silicon, erreicht LiteRT.js bis zu 3x schnellere Inferenz als andere Web-Laufzeitumgebungen über gängige Vision- und Audio-Modelle auf CPU und GPU hinweg. Anspruchsvollere Aufgaben, wie Objektverfolgung oder Bildmanipulation auf der GPU oder NPU, verzeichnen noch größere Zuwächse, wobei Leistungssteigerungen von 5x bis hin zu massiven 60x schnelleren Ergebnissen reichen, je nach Aufgabe.

Unabhängige Tests bestätigen diese bescheideneren Behauptungen weitgehend. Zum Beispiel zeigte eine Echtzeit-3D-Motion-Capture-Anwendung, die vollständig im Browser läuft, solide 120 Bilder pro Sekunde mit WebGPU im Vergleich zu 38 FPS auf der CPU. Dies entspricht einem etwa 3-fachen Anstieg der Bildrate und einem 2,8-fachen Rückgang der Inferenzzeit, was Googles weniger extreme Zahlen in einem praktischen Szenario direkt validiert.

Natürlich sollten Sie Ihre Erwartungen managen; diese dramatischen Zahlen sind nicht für jeden garantiert. Google selbst räumt ein, dass dies Best-Case-Szenarien sind. Ihre tatsächliche Leistung wird erheblich variieren, basierend auf Ihrer spezifischen GPU, potenzieller thermal throttling und der Qualität der Treiber Ihres Geräts. Für diejenigen, die tiefer in die technischen Details eintauchen möchten, bietet Google eine umfangreiche Dokumentation zu LiteRT for Web with LiteRT.js | Google AI Edge.

Jenseits der reinen Geschwindigkeit bietet LiteRT.js erhebliche praktische Vorteile, die sich direkt auf Ihr Budget und Ihren Workflow auswirken. Sie können jetzt bestehende .tflite models direkt im Browser ausführen, wodurch komplexe Konvertierungen entfallen und Entwicklungszeit gespart wird. Für PyPyTorch-Benutzer bietet LiteRT PyTorch einen einfachen Weg zu `.tflite`-Dateien, und ein AI AI Edge Quantizer verkleinert Modellgrößen ohne eine vollständige Neuschreibung. Dies senkt die Hürde für Entwickler, anspruchsvolle KI ins Web zu bringen, dramatisch.

Dieser Leistungssprung ermöglicht eine völlig neue Klasse von Webanwendungen, die schwere Verarbeitungen von entfernten Servern verlagern. Stellen Sie sich Echtzeit-YOLO-Objekterkennung oder 3D pose estimation mit Ihrer Webcam vor, alles direkt in Ihrem Browser laufend. Diese client-side operations gewährleisten eine verbesserte Benutzerdatenschutz und eliminieren Serverkosten, wodurch fortschrittliche KI-Funktionen für Entwickler und Unternehmen zugänglicher und erschwinglicher werden. Googles Demos zeigen bereits beeindruckende Fähigkeiten wie monocular depth estimation und image upscaling.

Die Zukunft sieht für browserbasierte KI noch vielversprechender aus. Google hat bereits LiteRT-LM.js angekündigt, das diese Leistungsvorteile auf große Sprachmodelle übertragen wird. Das bedeutet, dass vollständige LLMs, wie weboptimierte Gemma 4-Varianten, lokal im Browser ausgeführt werden können, was Türen für fortschrittliche, private KI-Erlebnisse öffnet, ohne auf Remote-Server angewiesen zu sein. Es ist ein echter Game-Changer für On-Device AI.

Was ist LiteRT.js?

LiteRT.js ist eine neue JavaScript-Bibliothek von Google, die es Entwicklern ermöglicht, Machine-Learning-Modelle mit nahezu nativer Geschwindigkeit direkt in einem Webbrowser auszuführen. Sie verwendet WebAssembly, um Googles Hochleistungs-LiteRT-Inferenz-Engine, die bereits auf Android und iOS verwendet wird, ins Web zu bringen.

Wie ist LiteRT.js schneller als TensorFlow.js?

TensorFlow.js basiert auf JavaScript-basierten Kernels, was einen Leistungsengpass erzeugt. LiteRT.js umgeht dies, indem es seine optimierten C++-Kernels zu WebAssembly kompiliert, wodurch es CPU- und GPU-Hardware effizienter direkt nutzen kann, um eine deutlich schnellere Inferenz zu erzielen.

Ist TensorFlow.js jetzt vollständig obsolet?

Nicht vollständig. Während LiteRT.js aufgrund seiner überlegenen Leistung als leistungsstarker Ersatz für die Modellinferenz positioniert ist, kann TensorFlow.js immer noch nützlich für Vor- und Nachbearbeitungsaufgaben in einer KI-Pipeline sein. Entwickler können LiteRT.js speziell für den Modellausführungsschritt verwenden, während sie ihren bestehenden TensorFlow.js-Code für die Datenmanipulation beibehalten.

Welche Arten von Modellen kann LiteRT.js ausführen?

LiteRT.js kann jedes bestehende Modell ausführen, das im TensorFlow Lite (.tflite)-Format gespeichert ist. Es bietet auch einen direkten Konvertierungspfad für Modelle von PyTorch, JAX und Standard TensorFlow, wodurch es hochkompatibel mit bestehenden ML-Workflows ist.