Google acaba de acabar con TensorFlow.js

TensorFlow.js ha sido la biblioteca de aprendizaje automático basada en navegador de Google durante años, pero siempre chocaba con un muro: los kernels basados en JavaScript. Estos kernels son un cuello de botella significativo, incapaces de explotar completamente el hardware de CPU o GPU como lo puede hacer un tiempo de ejecución nativo. Luchan con la interacción directa con el hardware y el procesamiento paralelo, lo que significa que TensorFlow.js siempre se quedaba atrás en el rendimiento de las aplicaciones nativas.

Google acaba de romper ese cuello de botella con LiteRT.js. Esto no es simplemente una actualización; es un cambio de juego. LiteRT.js es un binding de JavaScript para LiteRT, el probado tiempo de ejecución de inferencia en el dispositivo de Google que ha impulsado Android, iOS y hardware embebido durante años. Ahora, ese mismo motor optimizado llega a tu navegador.

LiteRT.js logra esto aprovechando WebAssembly (WASM), enviando sus propios kernels optimizados. Ya no estás obteniendo una "capa de abstracción con sabor a web" que lucha con el acceso al hardware. En cambio, obtienes un motor de tiempo de ejecución nativo verdaderamente optimizado compilado a WASM, exponiendo directamente las mismas capacidades de hardware de alto rendimiento que antes eran exclusivas de la inferencia en Android e iOS. Esto representa un cambio fundamental en la IA basada en navegador.

LiteRT.js no solo promete velocidad; la entrega con un backend inteligente de tres niveles diseñado para exprimir el máximo rendimiento de cualquier dispositivo. Esta arquitectura asegura compatibilidad universal y rendimiento extremo donde el hardware lo permita.

Para una compatibilidad universal, LiteRT.js por defecto utiliza XNNPACK para la inferencia basada en CPU. Esta es la biblioteca de kernels de CPU multi-hilo optimizada de Google, completa con soporte SIMD relajado. Actúa como un robusto respaldo universal, asegurando que los modelos de aprendizaje automático se ejecuten eficientemente en cualquier dispositivo, incluso aquellos que carecen de una GPU dedicada.

Donde el hardware lo permite, LiteRT.js acelera con MLDrift over WebGPU. Esta es la ruta principal de aceleración de GPU, aprovechando directamente los kernels de GPU nativos. Elimina el cuello de botella de rendimiento de la orquestación de JavaScript para shaders que plagaba a TensorFlow.js, permitiendo velocidades de inferencia significativamente más rápidas al mover las operaciones de tensores fuera de la CPU.

Mirando hacia el futuro, LiteRT.js también incluye soporte experimental para NPUs a través de la WebNN API. Disponible en Chrome y Edge a través de Origin Trials, esto apunta a hardware de procesamiento neural dedicado. Promete una mayor eficiencia energética e inferencia aún más rápida para cargas de trabajo de IA especializadas a medida que la integración de NPU se vuelve más común en los dispositivos de consumo.

Este enfoque inteligente y en capas garantiza que LiteRT.js proporcione tanto una amplia compatibilidad en la más amplia gama de dispositivos como desbloquee el máximo rendimiento en el silicio moderno. Efectivamente, prepara la IA basada en navegador para el futuro, haciendo que el aprendizaje automático avanzado sea verdaderamente práctico para las aplicaciones web.

Las afirmaciones de Google para LiteRT.js son impresionantes, pero ¿pueden cumplirlas? Según sus benchmarks oficiales, realizados en un MacBook Pro de 2024 con silicio M4, LiteRT.js logra una inferencia hasta 3 veces más rápida que otros tiempos de ejecución web en modelos comunes de visión y audio en CPU y GPU. Tareas más exigentes, como el seguimiento de objetos o la manipulación de imágenes en la GPU o NPU, experimentan ganancias aún mayores, con aumentos de rendimiento que saltan de 5x hasta un masivo 60x resultados más rápidos, dependiendo de la tarea.

Las pruebas independientes confirman en gran medida estas afirmaciones más modestas. Por ejemplo, una aplicación de captura de movimiento 3D en tiempo real, ejecutándose completamente en el navegador, demostró unos sólidos 120 frames per second usando WebGPU en comparación con 38 FPS en la CPU. Esto se traduce en aproximadamente un salto de 3x en la velocidad de fotogramas y una reducción de 2.8x en el tiempo de inferencia, validando directamente las cifras menos extremas de Google en un escenario práctico.

Naturalmente, debe gestionar sus expectativas; estos números espectaculares no están garantizados para todos. El propio Google reconoce que estos son escenarios óptimos. Su rendimiento real variará significativamente según su GPU específica, el posible thermal throttling, y la calidad de los controladores de su dispositivo. Para aquellos que deseen profundizar en los detalles técnicos, Google ofrece una amplia documentación sobre LiteRT for Web with LiteRT.js | Google AI Edge.

Más allá de la velocidad pura, LiteRT.js ofrece importantes ventajas prácticas que impactan directamente en su bolsillo y flujo de trabajo. Ahora puede ejecutar .tflite models existentes directamente en el navegador, eliminando conversiones complejas y ahorrando tiempo de desarrollo. Para los usuarios de PyPyTorch, LiteRT PyTorch ofrece un camino sencillo a los archivos `.tflite`, además un AI AI Edge Quantizer reduce el tamaño de los modelos sin una reescritura completa. Esto reduce drásticamente la barrera para que los desarrolladores lleven IA sofisticada a la web.

Este salto de rendimiento permite una clase completamente nueva de aplicaciones web, trasladando el procesamiento pesado de servidores distantes. Imagine la detección de objetos YOLO en tiempo real o la estimación de pose 3D usando su webcam, todo ejecutándose directamente en su navegador. Estas client-side operations garantizan una mayor privacidad del usuario y eliminan los costos del servidor, haciendo que las funciones avanzadas de IA sean más accesibles y asequibles para desarrolladores y empresas. Las demostraciones de Google ya muestran capacidades impresionantes como monocular depth estimation e image upscaling.

El futuro parece aún más prometedor para la IA basada en navegador. Google ya ha anunciado LiteRT-LM.js, que llevará estos beneficios de rendimiento a los large language models. Esto significa ejecutar LLMs completos, como variantes de Gemma 4 optimizadas para la web, localmente en el navegador, abriendo puertas a experiencias de IA avanzadas y privadas sin depender de servidores remotos. Es un verdadero cambio de juego para la IA en el dispositivo.

¿Qué es LiteRT.js?

LiteRT.js es una nueva biblioteca JavaScript de Google que permite a los desarrolladores ejecutar modelos de machine learning a velocidades casi nativas directamente en un navegador web. Utiliza WebAssembly para llevar el motor de inferencia LiteRT de alto rendimiento de Google, ya utilizado en Android e iOS, a la web.

¿Cómo es LiteRT.js más rápido que TensorFlow.js?

TensorFlow.js se basa en kernels basados en JavaScript, lo que crea un cuello de botella en el rendimiento. LiteRT.js evita esto compilando sus kernels C++ optimizados a WebAssembly, lo que le permite aprovechar directamente el hardware de CPU y GPU de manera más eficiente para una inferencia significativamente más rápida.

¿Está TensorFlow.js completamente obsoleto ahora?

No del todo. Si bien LiteRT.js se posiciona como un potente reemplazo para la inferencia de modelos debido a su rendimiento superior, TensorFlow.js aún puede ser útil para tareas de preprocesamiento y postprocesamiento en un pipeline de IA. Los desarrolladores pueden usar LiteRT.js específicamente para el paso de ejecución del modelo mientras conservan su código TensorFlow.js existente para la manipulación de datos.

¿Qué tipo de modelos puede ejecutar LiteRT.js?

LiteRT.js puede ejecutar cualquier modelo existente guardado en el formato TensorFlow Lite (.tflite). También proporciona una ruta de conversión directa para modelos de PyTorch, JAX y TensorFlow estándar, lo que lo hace altamente compatible con los flujos de trabajo de ML existentes.