Un modelo de 164MB hace una gran promesa
¿Puede un modelo de voz de 164MB transcribir realmente una hora de audio en aproximadamente 21 segundos en un MacBook Air con chip M5, todo ello sin conexión a internet? Fermion Research, un nuevo laboratorio, hace esta audaz afirmación para su último modelo, Phonon-2-2, sugiriendo un salto significativo en el procesamiento de audio en el dispositivo.
Phonon-2-2 proviene de NVIDIA Parakeet TDT 0.6B v3, un modelo sustancial de 2.5GB. A diferencia de su contraparte multilingüe, Parakeet Redux, que admite 25 idiomas, Phonon-2-2 dedica toda su capacidad al inglés. Esta especialización es clave para su tamaño compacto y su rendimiento declarado.
El modelo logra su tamaño diminuto mediante una compresión agresiva. Fermion Research reentrenó el codificador, cuantizando los pesos a aproximadamente 2.1 bits por peso, utilizando solo cinco valores aprendidos. Otros componentes se almacenan en tablas de 6 bits.
Esta sofisticada compresión resulta en una descarga de 164MB, que se expande a aproximadamente 178MB en memoria. Esta reducción de tamaño es sorprendente, haciendo que Phonon-2-2 sea comparable en uso de memoria a Parakeet Redux, pero no garantiza intrínsecamente la precisión o el rendimiento.
La cifra de velocidad tiene un asterisco
Fermion Research afirma una velocidad vertiginosa de 174× en tiempo real para Phonon-2-2 en un MacBook Air con chip M5. Esta cifra, sin embargo, depende del fast-path decoder del modelo y del framework MLX. Desactivar el fast-path decoder reduce el rendimiento a aproximadamente 109× en tiempo real, mientras que la operación solo con CPU cae a cerca de 40×.
Para poner esto en perspectiva, el video compara directamente Phonon-2-2 con Whisper large-v3-turbo, reportando alrededor de 17× en tiempo real usando whisper.cpp con aceleración Metal. Tales comparaciones son sensibles a tiempos de ejecución y configuraciones de hardware específicos, lo que hace que las inferencias directas sean difíciles sin benchmarks estandarizados.
La comparación con Parakeet Redux también lleva un asterisco. Fermion Research evaluó Redux a través de un puerto de terceros de Fluid Audio Core ML, que logró 27.8× en tiempo real. Esto contrasta con las velocidades reportadas por el propio Moondream de 38× a 43× en un MacBook Air con chip M2, lo que sugiere que el puerto influyó significativamente en el resultado.
Cabe destacar que el modelo original de 2.5 GB de NVIDIA Parakeet alcanzó 105× en tiempo real a través del mismo puerto Fluid Audio, casi cuatro veces más rápido que el Redux comprimido. Esta discrepancia indica que las elecciones de tiempo de ejecución pueden distorsionar las conclusiones de velocidad entre modelos, complicando las comparaciones directas de eficiencia entre Phonon-2-2 y sus rivales más cercanos.
La precisión parece buena, hasta que las pruebas discrepan
Fermion Research reportó una alta precisión para Phonon-2-2, afirmando una Tasa de Error de Palabra (WER) promedio del 5.21% en siete conjuntos de prueba. Esto lo situó por delante de Parakeet Redux (5.69%) y Whisper large-v3-turbo (6.58%). Solo el modelo de NVIDIA de 2.5GB, mucho más grande, logró un WER menor, del 4.96%. Un WER más bajo indica una precisión superior.
Las pruebas independientes, sin embargo, presentan un panorama más matizado. El Open ASR Leaderboard, citado en el video, evaluó a Phonon-2-2 con un WER promedio del 7.23%. Aunque sigue superando el promedio del 8.39% de Whisper large-v3-turbo, Whisper logró WERs más bajos en tres conjuntos de prueba individuales. Esto incluyó el audio ruidoso de Urgent 2024, donde Whisper obtuvo un 13.69% en comparación con el 14.90% de Phonon-2-2.
Estas discrepancias subrayan cómo la composición del conjunto de pruebas y las metodologías de evaluación influyen significativamente en las clasificaciones de los modelos. Un WER promedio proporciona una indicación general, pero no garantiza el rendimiento en todos los tipos de audio. Para obtener más detalles sobre la arquitectura y el rendimiento del modelo, consulte su página de Hugging Face: Fermion ResearchResearch/Phonon-2-2 - Hugging Face.
En última instancia, la métrica más fiable para cualquier usuario es la prueba directa con su caso de uso específico. Considere sus típicos:
- Acentos
- Condiciones de grabación
- Vocabulario específico del dominio
Depender únicamente de los benchmarks agregados puede ocultar variaciones de rendimiento cruciales, por lo que la validación personalizada es esencial.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Una herramienta local prometedora, no una solución definitiva inmediata
Más allá de la velocidad y precisión brutas, Phonon-2-2 ofrece características atractivas para los desarrolladores. Admite transcripción de micrófono, lo que permite subtítulos en vivo, y permite hotwords personalizados para mejorar el reconocimiento de términos específicos. Un servidor local proporciona un endpoint de transcripción compatible con OpenAI y streaming por WebSocket para la integración en flujos de trabajo existentes.
Estas características hacen que Phonon-2-2 sea atractivo para aplicaciones preocupadas por la privacidad y sensibles a los costos. El audio permanece en el dispositivo, eliminando las tarifas de transcripción en la nube y las preocupaciones sobre la salida de datos. Sin embargo, la latencia de streaming requiere una medición independiente antes de implementarse en productos en tiempo real.
Los desarrolladores que necesiten una transcripción rápida en inglés en Apple Silicon deberían experimentar con Phonon-2-2, pero comparar su rendimiento frente a Whisper large-v3-turbo o Redux en audio representativo. El código y la CLI están disponibles bajo una licencia Apache 2.0, mientras que los pesos del modelo utilizan una licencia CC-BY-4.0, que requiere atribución a NVIDIA y Fermion Research Research.
Preguntas frecuentes
¿Qué es Phonon-2?
Phonon-2 es un modelo de reconocimiento de voz centrado en el inglés de Fermion Research, comprimido en una descarga de 164MB y diseñado para ejecutarse localmente.
¿Es Phonon-2 más rápido que Whisper?
Fermion reporta un rendimiento mucho mayor en sus pruebas, pero los resultados dependen del hardware, la configuración del decodificador y el tiempo de ejecución. La comparación no establece una ventaja de velocidad universal.
¿Supera Phonon-2 a Whisper en precisión?
Obtiene mejores resultados que Whisper en algunos resultados de WER promedio reportados, pero las pruebas independientes muestran que Whisper gana en varios conjuntos de datos, incluida una prueba de voz con ruido.
¿Se puede utilizar Phonon-2 comercialmente?
El proyecto enumera Apache 2.0 para su código y CLI, y CC-BY-4.0 para los pesos de su modelo. Verifique los términos de la licencia y los requisitos de atribución antes de su uso.