GoogleがTensorFlow.jsを葬り去った

TensorFlow.jsは長年、Googleのブラウザベースの機械学習ライブラリでしたが、常にJavaScriptベースのカーネルという壁にぶつかっていました。これらのカーネルは、ネイティブランタイムのようにCPUやGPUハードウェアを完全に活用できないという重大なボトルネックでした。直接的なハードウェアとの相互作用や並列処理に苦戦し、TensorFlow.jsはネイティブアプリケーションのパフォーマンスに常に遅れをとっていました。

Googleは、LiteRT.jsによってそのボトルネックを打ち破りました。これは単なるアップデートではなく、ゲームチェンジャーです。LiteRT.jsは、長年Android、iOS、組み込みハードウェアを動かしてきたGoogleの実績あるオンデバイス推論ランタイムであるLiteRTのJavaScriptバインディングです。今、その最適化されたエンジンがあなたのブラウザに登場します。

LiteRT.jsは、独自の最適化されたカーネルを搭載したWebAssembly (WASM)を活用することでこれを実現します。ハードウェアアクセスに苦労する「ウェブ風味の抽象化レイヤー」ではなく、WASMにコンパイルされた真に最適化されたネイティブランタイムエンジンを手に入れることができ、これまでAndroidやiOSの推論に限定されていたのと同じ高性能ハードウェア機能を直接利用できます。これは、ブラウザベースAIにおける根本的な変化を意味します。

LiteRT.jsは単に速度を約束するだけでなく、あらゆるデバイスから最大のパフォーマンスを引き出すように設計された巧妙な3層バックエンドでそれを実現します。このアーキテクチャは、ユニバーサルな互換性と、ハードウェアが許す限り究極のパフォーマンスを保証します。

ユニバーサルな互換性のために、LiteRT.jsはCPUベースの推論にデフォルトでXNNPACKを使用します。これは、Googleの最適化されたマルチスレッドCPUカーネルライブラリで、緩和されたSIMDサポートを備えています。堅牢なユニバーサルフォールバックとして機能し、専用GPUを持たないデバイスでも、機械学習モデルが効率的に実行されることを保証します。

ハードウェアが許す場合、LiteRT.jsはWebGPU上のMLDriftで高速化します。これは主要なGPUアクセラレーションパスであり、ネイティブGPUカーネルを直接活用します。TensorFlow.jsを悩ませていたシェーダーのJavaScriptオーケストレーションによるパフォーマンスボトルネックを排除し、テンソル演算をCPUから移動させることで、大幅に高速な推論速度を可能にします。

将来を見据え、LiteRT.jsはWebNN APIを介したNPUの実験的サポートも含まれています。Origin Trialsを通じてChromeとEdgeで利用可能であり、これは専用のニューラル処理ハードウェアを対象としています。NPUの統合が消費者向けデバイスでより一般的になるにつれて、特殊なAIワークロードに対して、電力効率の向上とさらなる高速推論を約束します。

このインテリジェントな階層型アプローチにより、LiteRT.jsは最も広範なデバイスで幅広い互換性を提供し、最新のシリコンで最高のパフォーマンスを引き出すことを保証します。これにより、ブラウザベースのAIを効果的に将来にわたって対応させ、高度な機械学習をウェブアプリケーションで真に実用的なものにします。

LiteRT.jsに関するGoogleの主張は印象的ですが、それらは実現できるのでしょうか？M4 siliconを搭載した2024年製MacBook Proで実施された公式ベンチマークによると、LiteRT.jsは、一般的なビジョンおよびオーディオモデルにおいて、CPUおよびGPUで他のウェブランタイムよりも最大3倍高速な推論を実現します。オブジェクトトラッキングやGPUまたはNPUでの画像操作のようなより要求の厳しいタスクでは、さらに大きな性能向上が見られ、タスクに応じてパフォーマンスが5倍から最大60倍にまで向上します。

独立したテストは、これらのより控えめな主張を概ね裏付けています。例えば、ブラウザ内で完全に動作するリアルタイム3Dモーションキャプチャアプリケーションは、WebGPUを使用した場合、CPUでの38 FPSと比較して、安定した120フレーム/秒を実証しました。これは、フレームレートが約3倍に向上し、推論時間が2.8倍短縮されることを意味し、Googleのより控えめな数値を実際のシナリオで直接検証しています。

当然のことながら、期待値を管理する必要があります。これらの劇的な数値がすべての人に保証されるわけではありません。Google自身も、これらが最良のケースシナリオであることを認めています。実際のパフォーマンスは、特定のGPU、潜在的なサーマルスロットリング、およびデバイスのドライバーの品質によって大きく異なります。技術的な詳細についてさらに深く知りたい場合は、GoogleがLiteRT for Web with LiteRT.js | Google AI Edgeに関する広範なドキュメントを提供しています。

純粋な速度を超えて、LiteRT.jsは、あなたの財布とワークフローに直接影響を与える重要な実用上の利点を提供します。既存の.tfliteモデルをブラウザで直接実行できるようになり、複雑な変換が不要になり、開発時間を節約できます。PyPyTorchユーザー向けには、LiteRT PyTorchが`.tflite`ファイルへの簡単なパスを提供し、さらにAI AI Edge Quantizerが完全な書き換えなしにモデルサイズを縮小します。これにより、開発者が高度なAIをウェブにもたらすための障壁が劇的に低くなります。

このパフォーマンスの飛躍により、重い処理を遠隔サーバーから解放し、まったく新しい種類のウェブアプリケーションが可能になります。ウェブカメラを使用したリアルタイムのYOLO物体検出や3D姿勢推定が、すべてブラウザで直接実行されることを想像してみてください。これらのクライアントサイド操作は、ユーザーのプライバシーを強化し、サーバーコストを削減するため、開発者や企業にとって高度なAI機能をより利用しやすく、手頃な価格にします。Googleのデモは、単眼深度推定や画像アップスケーリングなどの印象的な機能をすでに披露しています。

ブラウザベースのAIにとって、未来はさらに魅力的です。GoogleはすでにLiteRT-LM.jsを発表しており、これにより大規模言語モデルにこれらのパフォーマンス上の利点をもたらします。これは、ウェブに最適化されたGemma 4のバリアントのような完全なLLMをブラウザ内でローカルに実行できることを意味し、リモートサーバーに依存することなく、高度でプライベートなAI体験への扉を開きます。これは、オンデバイスAIにとって真のゲームチェンジャーです。

LiteRT.jsとは何ですか？

LiteRT.jsは、Googleが提供する新しいJavaScriptライブラリで、開発者が機械学習モデルをウェブブラウザでほぼネイティブの速度で直接実行できるようにします。WebAssemblyを使用して、AndroidおよびiOSですでに使用されているGoogleの高性能LiteRT推論エンジンをウェブにもたらします。

LiteRT.jsはTensorFlow.jsよりもどのように高速なのですか？

TensorFlow.jsはJavaScriptベースのカーネルに依存しており、これがパフォーマンスのボトルネックを生み出します。LiteRT.jsは、最適化されたC++カーネルをWebAssemblyにコンパイルすることでこれを回避し、CPUおよびGPUハードウェアをより効率的に直接活用して、大幅に高速な推論を可能にします。

TensorFlow.jsは今や完全に時代遅れになったのですか？

完全にはそうではありません。LiteRT.jsはその優れたパフォーマンスによりモデル推論の強力な代替として位置付けられていますが、TensorFlow.jsはAIパイプラインにおける前処理および後処理タスクに依然として有用です。開発者は、データ操作のために既存のTensorFlow.jsコードを保持しつつ、モデル実行ステップに特化してLiteRT.jsを使用できます。

LiteRT.jsはどのような種類のモデルを実行できますか？

LiteRT.jsは、TensorFlow Lite (.tflite)形式で保存された既存のあらゆるモデルを実行できます。また、PyTorch、JAX、および標準のTensorFlowからのモデルに対して直接変換パスを提供するため、既存のMLワークフローとの互換性が非常に高いです。