Модель размером 164 МБ дает громкое обещание
Может ли модель распознавания речи размером 164 МБ действительно транскрибировать час аудио примерно за 21 секунду на MacBook Air с чипом M5, причем без подключения к интернету? Fermion Research, новая лаборатория, делает это смелое заявление для своей последней модели Phonon-2-2, намекая на значительный скачок в локальной обработке аудио.
Phonon-2-2 основана на NVIDIA Parakeet TDT 0.6B v3, внушительной модели размером 2.5 ГБ. В отличие от своего многоязычного аналога Parakeet Redux, поддерживающего 25 языков, Phonon-2-2 посвящает весь свой потенциал английскому языку. Эта специализация является ключом к ее компактному размеру и заявленной производительности.
Модель достигает своего миниатюрного размера за счет агрессивного сжатия. Fermion Research переобучила энкодер, квантовав веса примерно до 2.1 бита на вес с использованием всего пяти обученных значений. Остальные компоненты хранятся в 6-битных таблицах.
Это сложное сжатие приводит к размеру загружаемого файла в 164 МБ, который в памяти занимает около 178 МБ. Такое уменьшение размера впечатляет, делая Phonon-2-2 сопоставимой по объему памяти с Parakeet Redux, но это не гарантирует автоматически точность или производительность.
У показателя скорости есть «звездочка»
Fermion Research заявляет о невероятной скорости в 174× реального времени для Phonon-2-2 на MacBook Air с чипом M5. Однако эта цифра опирается на fast-path decoder модели и фреймворк MLX. Отключение fast-path decoder снижает производительность примерно до 109× реального времени, а работа только на CPU — примерно до 40×.
Чтобы лучше понять масштаб, в видео Phonon-2-2 напрямую сравнивается с Whisper large-v3-turbo, показывая около 17× реального времени при использовании whisper.cpp с ускорением Metal. Такие сравнения зависят от конкретных сред выполнения и конфигураций оборудования, что затрудняет прямые выводы без стандартизированных бенчмарков.
Сравнение с Parakeet Redux также имеет «звездочку». Fermion Research протестировала Redux через сторонний порт Fluid Audio для Core ML, который достиг 27.8× реального времени. Это контрастирует с собственными заявленными скоростями Moondream от 38× до 43× на MacBook Air с чипом M2, что говорит о том, что порт значительно повлиял на результат.
Примечательно, что оригинальная модель NVIDIA Parakeet объемом 2.5 ГБ достигла 105× реального времени через тот же порт Fluid Audio, что почти в четыре раза быстрее, чем сжатая версия Redux. Это расхождение показывает, что выбор среды выполнения может исказить выводы о скорости моделей, усложняя прямое сравнение эффективности Phonon-2-2 и ее ближайших конкурентов.
Точность выглядит хорошо — пока тесты не начинают противоречить друг другу
Fermion Research сообщила о высокой точности Phonon-2-2, заявив о среднем уровне ошибок распознавания слов (WER) в 5.21% по семи тестовым наборам. Это поставило ее впереди Parakeet Redux (5.69%) и Whisper large-v3-turbo (6.58%). Только гораздо более крупная модель NVIDIA объемом 2.5 ГБ достигла более низкого WER — 4.96%. Более низкий WER указывает на более высокую точность.
Независимое тестирование, однако, рисует более сложную картину. Open ASR Leaderboard, упомянутый в видео, оценил Phonon-2-2 средним WER в 7.23%. Хотя модель все еще превосходит средний показатель Whisper large-v3-turbo в 8.39%, Whisper показал более низкий WER на трех отдельных тестовых наборах. Сюда входит зашумленное аудио Urgent 2024, где Whisper набрал 13.69% по сравнению с 14.90% у Phonon-2-2.
Эти расхождения подчеркивают, как состав тестового набора и методологии оценки существенно влияют на рейтинг моделей. Средний показатель WER дает общее представление, но не гарантирует производительность для всех типов аудио. Для получения дополнительной информации об архитектуре и производительности модели посетите ее страницу на Hugging Face: Fermion ResearchResearch/Phonon-2-2 - Hugging Face.
В конечном счете, самым надежным показателем для любого пользователя является прямое тестирование в конкретном сценарии использования. Учитывайте свои типичные:
- Акценты
- Условия записи
- Отраслевую лексику
Опора исключительно на совокупные бенчмарки может скрыть критические различия в производительности, поэтому персональная проверка обязательна.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Многообещающий локальный инструмент, а не готовое решение для замены
Помимо высокой скорости и точности, Phonon-2-2 предлагает разработчикам привлекательные функции. Он поддерживает транскрибацию с микрофона, обеспечивая субтитры в реальном времени, и позволяет использовать пользовательские hotwords для улучшения распознавания специфических терминов. Локальный сервер предоставляет эндпоинт транскрибации, совместимый с OpenAI, и потоковую передачу через WebSocket для интеграции в существующие рабочие процессы.
Эти функции делают Phonon-2-2 привлекательным для приложений, ориентированных на конфиденциальность и чувствительных к затратам. Аудио остается на устройстве, что исключает расходы на облачную транскрибацию и проблемы с передачей данных. Однако задержку потоковой передачи необходимо измерять независимо перед развертыванием в продуктах реального времени.
Разработчикам, которым нужна быстрая транскрибация английского языка на Apple Silicon, стоит поэкспериментировать с Phonon-2-2, но сравнить его производительность с Whisper large-v3-turbo или Redux на репрезентативных аудиозаписях. Код и CLI доступны по лицензии Apache 2.0, а веса модели используют лицензию CC-BY-4.0, требующую указания авторства NVIDIA и Fermion Research Research.
Часто задаваемые вопросы
Что такое Phonon-2?
Phonon-2 — это модель распознавания речи для английского языка от Fermion Research, сжатая до 164 МБ и предназначенная для локального запуска.
Быстрее ли Phonon-2, чем Whisper?
Fermion сообщает о гораздо более высокой пропускной способности в своих тестах, но результаты зависят от оборудования, настроек декодера и среды выполнения. Это сравнение не устанавливает универсального преимущества в скорости.
Превосходит ли Phonon-2 модель Whisper по точности?
Он показывает лучшие результаты, чем Whisper, по некоторым заявленным средним показателям WER, но независимое тестирование показывает, что Whisper выигрывает на ряде наборов данных, включая тест с зашумленной речью.
Можно ли использовать Phonon-2 в коммерческих целях?
Проект указывает лицензию Apache 2.0 для кода и CLI, а также CC-BY-4.0 для весов модели. Перед использованием ознакомьтесь с условиями лицензии и требованиями к указанию авторства.