Un modèle de 164 Mo fait une grande promesse
Un modèle de reconnaissance vocale de 164 Mo peut-il vraiment transcrire une heure d'audio en environ 21 secondes sur un MacBook Air M5, le tout sans connexion internet ? Fermion Research, un nouveau laboratoire, fait cette affirmation audacieuse pour son dernier modèle, Phonon-2-2, suggérant un bond significatif dans le traitement audio sur appareil.
Phonon-2-2 provient du modèle NVIDIA Parakeet TDT 0.6B v3, un modèle substantiel de 2,5 Go. Contrairement à son homologue multilingue, Parakeet Redux, qui prend en charge 25 langues, Phonon-2-2 consacre toute sa capacité à l'anglais. Cette spécialisation est la clé de sa taille compacte et de ses performances supposées.
Le modèle atteint son encombrement réduit grâce à une compression agressive. Fermion Research a réentraîné l'encodeur, quantifiant les poids à environ 2,1 bits par poids, en utilisant seulement cinq valeurs apprises. Les autres composants sont stockés dans des tables de 6 bits.
Cette compression sophistiquée se traduit par un téléchargement de 164 Mo, s'étendant à environ 178 Mo en mémoire. Cette réduction de taille est frappante, rendant Phonon-2-2 comparable en termes d'empreinte mémoire à Parakeet Redux, mais cela ne garantit pas intrinsèquement la précision ou les performances.
Le chiffre de vitesse comporte un astérisque
Fermion Research revendique une vitesse fulgurante de 174× le temps réel pour Phonon-2-2 sur un MacBook Air M5. Ce chiffre repose cependant sur le décodeur fast-path du modèle et le framework MLX. La désactivation du décodeur fast-path réduit les performances à environ 109× le temps réel, tandis que le fonctionnement sur CPU seul chute à environ 40×.
Pour mettre cela en perspective, la vidéo compare directement Phonon-2-2 à Whisper large-v3-turbo, rapportant environ 17× le temps réel en utilisant whisper.cpp avec l'accélération Metal. De telles comparaisons sont sensibles aux environnements d'exécution et aux configurations matérielles spécifiques, rendant les inférences directes difficiles sans benchmarks standardisés.
La comparaison avec Parakeet Redux comporte également un astérisque. Fermion Research a évalué Redux via un portage Core ML tiers, Fluid Audio, qui a atteint 27,8× le temps réel. Cela contraste avec les vitesses rapportées par Moondream lui-même, de 38× à 43× sur un MacBook Air M2, suggérant que le portage a considérablement influencé le résultat.
Notamment, le modèle original NVIDIA Parakeet de 2,5 Go a atteint 105× le temps réel via le même portage Fluid Audio, soit près de quatre fois plus vite que le Redux compressé. Cette divergence indique que les choix d'exécution peuvent fausser les conclusions de vitesse entre les modèles, compliquant les comparaisons directes d'efficacité entre Phonon-2-2 et ses rivaux les plus proches.
La précision semble bonne, jusqu'à ce que les tests divergent
Fermion Research a rapporté une précision solide pour Phonon-2-2, revendiquant un taux d'erreur sur les mots (WER) moyen de 5,21 % sur sept ensembles de tests. Cela le place devant Parakeet Redux (5,69 %) et Whisper large-v3-turbo (6,58 %). Seul le modèle NVIDIA de 2,5 Go, beaucoup plus grand, a atteint un WER inférieur, à 4,96 %. Un WER plus bas indique une précision supérieure.
Des tests indépendants présentent cependant une image plus nuancée. L'Open ASR Leaderboard, cité dans la vidéo, a évalué Phonon-2-2 à un WER moyen de 7,23 %. Bien qu'il surpasse toujours la moyenne de 8,39 % de Whisper large-v3-turbo, Whisper a atteint des WER inférieurs sur trois ensembles de tests individuels. Cela inclut l'audio bruyant Urgent 2024, où Whisper a obtenu 13,69 % contre 14,90 % pour Phonon-2-2.
Ces écarts soulignent à quel point la composition des jeux de test et les méthodologies d'évaluation influencent considérablement le classement des modèles. Un WER moyen fournit une indication générale, mais ne garantit pas les performances sur tous les types d'audio. Pour plus de détails sur l'architecture et les performances du modèle, consultez sa page Hugging Face : Fermion ResearchResearch/Phonon-2-2 - Hugging Face.
En fin de compte, la mesure la plus fiable pour tout utilisateur est le test direct avec son cas d'utilisation spécifique. Tenez compte de vos éléments habituels :
- Accents
- Conditions d'enregistrement
- Vocabulaire spécifique au domaine
Se fier uniquement aux benchmarks globaux peut masquer des variations de performance cruciales, rendant une validation personnalisée essentielle.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Un outil local prometteur, mais pas une solution miracle
Au-delà de la vitesse et de la précision brutes, Phonon-2-2 offre des fonctionnalités convaincantes pour les développeurs. Il prend en charge la transcription par microphone, permettant le sous-titrage en direct, et autorise des hotwords personnalisés pour améliorer la reconnaissance de termes spécifiques. Un serveur local fournit un point de terminaison de transcription compatible avec OpenAI et un streaming WebSocket pour une intégration dans les flux de travail existants.
Ces fonctionnalités rendent Phonon-2-2 attrayant pour les applications soucieuses de la confidentialité et sensibles aux coûts. L'audio reste sur l'appareil, éliminant les frais de transcription dans le cloud et les préoccupations liées à la sortie des données. Cependant, la latence de streaming nécessite une mesure indépendante avant tout déploiement dans des produits en temps réel.
Les développeurs ayant besoin d'une transcription rapide en anglais sur Apple Silicon devraient expérimenter Phonon-2-2, mais comparer ses performances avec Whisper large-v3-turbo ou Redux sur des fichiers audio représentatifs. Le code et l'interface CLI sont disponibles sous une licence Apache 2.0, tandis que les poids du modèle utilisent une licence CC-BY-4.0, nécessitant une attribution à NVIDIA et Fermion Research Research.
Foire aux questions
Qu'est-ce que Phonon-2 ?
Phonon-2 est un modèle de reconnaissance vocale axé sur l'anglais de Fermion Research, compressé dans un téléchargement de 164 Mo et conçu pour fonctionner localement.
Phonon-2 est-il plus rapide que Whisper ?
Fermion rapporte un débit beaucoup plus élevé dans ses tests, mais les résultats dépendent du matériel, des paramètres du décodeur et de l'environnement d'exécution. La comparaison n'établit pas un avantage de vitesse universel.
Phonon-2 surpasse-t-il Whisper en précision ?
Il obtient de meilleurs résultats que Whisper sur certains WER moyens rapportés, mais des tests indépendants montrent que Whisper l'emporte sur plusieurs jeux de données, y compris un test de parole bruitée.
Phonon-2 peut-il être utilisé commercialement ?
Le projet répertorie la licence Apache 2.0 pour son code et son interface CLI, et la licence CC-BY-4.0 pour les poids de son modèle. Vérifiez les conditions de licence et les exigences d'attribution avant toute utilisation.