Распознавание речи в телефонном аудио: тест 10 моделей на именах, числах и задержке (ноябрь 2026)

Результаты на телефонной линии#

Что мы обнаружили#

1. Пятёрка лидеров статистически равна по точности#

Доля ошибок в словах от 5,5% до 6,3% у семи моделей выглядит как рейтинг, но им не является. Наш 95%-й доверительный интервал для gpt-transcribe составляет от 3,9% до 7,4%, и с ним пересекаются все модели вплоть до Cohere Transcribe. При 16,6 минуты аудио разница в один пункт — это шум. Если вы выбираете между этими моделями, ориентируйтесь на надёжность, задержку, цену и возможности (потоковая передача, усиление ключевых слов, хранение данных), а не на полпункта WER.

2. Модели различаются прежде всего надёжностью#

Каждая модель транскрибировала 60 записей по примерно 50 секунд (20 записей, три условия звука). gpt-4o-transcribe вернула сильно неполный транскрипт в 6 случаях: для одной записи из 8 реплик звонящего она вернула только «12:15 p.m.», а для записи из 17 реплик — только «The amount of the bill is $61.» whisper-1 и Gemini 3.5 Flash-Lite допустили такое по 3 раза. Gemini 3.8 Flash однажды начала транскрипт с выдуманного заголовка и повторила текст, а Scribe v2 однажды вернула короткую строку бессмысленных символов для зашумлённой записи. gpt-transcribe, gpt-4o-mini-transcribe, Gemini 3.5 Transcribe и Cohere Transcribe не вернули ни одного испорченного транскрипта.

В наших записях короткие несвязанные реплики соединены односекундными паузами, что жёстче, чем один непрерывный звонок, поэтому эти цифры стоит считать стресс-тестом. Но телефонный агент не может позволить себе транскрипт, который молча теряет большую часть сказанного звонящим, а средний WER именно это и скрывает.

3. Имена, цифры и адреса#

Имена оказались самым трудным классом для всех моделей: необычные фамилии из набора Европарламента (Siwiec, Mates, Machiavelli) и распространённые имена звонящих, искажённые на телефонной линии («James» как «Jane»). Произносимые цифрами строки, самое нужное телефонным агентам, у большинства моделей распознавались почти идеально, если не учитывать форматирование. На практике форматирование важно: Whisper large-v3 писала время как «1.45 pm», тогда как большинство моделей — «1:45 PM», а в телефонных номерах модели по-разному используют дефисы и пробелы. Парсер вашего агента должен принимать все эти варианты.

4. Время ответа#

Для 12 коротких реплик звонящего (в среднем 2,8 секунды речи), отправляемых по одной в виде готового файла, быстрее всех ответили три новые модели OpenAI: gpt-transcribe — медиана 0,61 с и 0,69 с на 90-м процентиле. Модели Gemini показали медиану от 1,2 до 2,0 с. Модели на fal включают собственную маршрутизацию fal. Первые пять запросов Wizper заняли от 5 до 30 секунд, а следующие семь — примерно по 2,5 с, что похоже на ввод мощностей на стороне fal; мы приводим это как измерено. Всё это не задержка потокового режима. Производственный телефонный агент передаёт аудио потоком и получает частичные слова, пока звонящий ещё говорит; эти пакетные конечные точки так не работают. Потоковые модели мы протестируем, когда получим к ним ключи.

Синтез речи: время до первого аудио#

Телефонный агент не может заговорить, пока голосовая модель не отправит первое аудио, поэтому время до первого аудио (TTFA) — это показатель, определяющий задержку ответа. Мы отправляли одни и те же три фразы секретаря («Thanks for calling Riverside Dental, this is Ava. How can I help you today?», предложение записи с датой и временем и подтверждение с окончанием номера телефона), по одной фразе на запрос, 21 запрос на модель, по кругу между моделями, по прогретому соединению из Калифорнии.

ElevenLabs Flash v2.5 был явным лидером по задержке: первое аудио через 0,22 с по медиане и менее 0,3 с на 90-м процентиле, примерно вдвое быстрее самого быстрого голоса не от ElevenLabs (Gemini 3.8 Flash Lite TTS — 0,47 с). Это также самый дорогой потоковый голос в тесте: около $2,37 за час аудио по прайс-листу, в три–четыре раза дороже, чем у Google и OpenAI. Более новая модель ElevenLabs v4 Turbo начинала почти так же быстро (0,29 с), но дольше завершала каждую фразу. Gemini 3.8 Flash Lite TTS от Google оказалась самым дешёвым потоковым вариантом: около $0,54 за час при стабильных 0,47 с до первого аудио. Более старая модель OpenAI tts-1 начинала медленнее всех — 1,2 с; более новая gpt-4o-mini-tts — за 0,64 с.

Три модели, к которым мы получили доступ только через fal.ai (Inworld TTS-1.5 Max, MiniMax и xAI), возвращают готовый файл, а не поток, поэтому мы можем сообщить только время до получения всего файла: от 3 до 5 секунд по медиане, включая очередь fal. Это ничего не говорит об их потоковой задержке в собственных API, которую мы не тестировали. Inworld оказался самым дешёвым голосом из измеренных: около $0,45 за час через fal. Качество голосов в этом тесте мы не оценивали.

Как мы тестировали#

• Аудио, реальные люди: 105 реплик звонящих из корпуса Harper Valley Bank (Gridspace и Stanford, CC BY 4.0, в виде пакета SLUE phase 2): люди, играющие роли в звонках в банк, называют свои имена, номера телефонов и счетов, почтовые индексы, адреса, суммы и время записи. Плюс 50 высказываний из набора SLUE VoxPopuli с именованными сущностями (выступления в Европарламенте, аудио CC0, разметка CC BY 4.0) для речи с акцентом с размеченными людьми, местами, организациями, датами и числами. 155 высказываний, 16,6 минуты, выбраны с фиксированным случайным зерном.
• Три условия: исходное аудио 16 кГц; телефонная линия (полосовой фильтр 300–3.400 Гц, 8 кГц, G.711 mu-law, кодек большинства телефонных звонков в США); и телефонная линия с розовым фоновым шумом при отношении сигнал/шум 15 дБ. Это программная имитация телефонной линии. Это не реальный путь через оператора, который может добавлять потерю пакетов и эхо.
• Запросы: высказывания были объединены в 20 записей по примерно 50 секунд с односекундными паузами, по одному запросу на запись на модель (600 запросов для оценки точности). Английский язык задавался там, где это позволяет API. Без подсказок, списков ключевых слов и пользовательского словаря. Модели Gemini Flash получали однострочную инструкцию «transcribe verbatim»; Gemini 3.5 Transcribe подсказок не принимает.
• Оценка: нормализатор английского текста Whisper от OpenAI с обеих сторон, плюс четыре поправки, чтобы форматирование никогда не считалось ошибкой: скобки сохраняются, ведущие нули сохраняются, «1.45 pm» читается как 1:45 pm, а каждая цифра считается отдельным словом (так что неверная цифра в телефонном номере — это одна ошибка, а «332-910-9693» равно «three three two nine one zero nine six nine three»). Доля ошибок в словах — это общее число ошибок, делённое на общее число слов в эталоне, с бутстрэп-интервалом 95% по записям. Сущность считается верной, только если она точно присутствует в словах, выровненных с её собственным высказыванием. 14 сущностей, которые ни одна модель не распознала верно ни в одном условии, исключены как ошибки эталона (в основном имена, у которых в эталоне удалены диакритические знаки, например «Pöttering», записанное как «pttering»).
• Время ответа: 12 реплик звонящих на телефонной линии, отправлялись по одной; время по часам от отправки запроса до получения полного транскрипта, с одного компьютера на домашнем подключении в Калифорнии. Время загрузки включено. Ваши цифры будут отличаться в зависимости от местоположения; сравнивайте модели внутри этой таблицы, а не с цифрами из других источников.
• Модели на сторонних платформах: ElevenLabs Scribe v2, Cohere Transcribe и Whisper large-v3 вызывались через fal.ai, поскольку у нашего ключа ElevenLabs нет разрешения на преобразование речи в текст, а ключа Cohere у нас нет. fal добавляет собственное время маршрутизации и взимает собственные цены ($0,008 за минуту для Scribe v2 против $0,20 в час напрямую у ElevenLabs).
• Цены: прайс-листы со страниц каждого поставщика на 11 ноября 2026 года: OpenAI, ElevenLabs, Google, Cohere и страницы моделей fal. Gemini 3.8 Flash и Flash-Lite тарифицируются по токенам; мы оценили их почасовую стоимость исходя из 25 аудиотокенов в секунду плюс возвращённый текст. На странице Google указано, что цены Gemini 3.8 Flash вырастут вдвое 1 января 2027 года. Для Wizper fal не показывает пригодной цены за минуту. Cohere продаёт производственный Transcribe через выделенные экземпляры «from $3.75 / hour / instance», а не по минутам.
• Голосовые модели: одна фраза на запрос, 7 раундов по 3 фразы (21 запрос на модель), модели чередовались, чтобы сбой сети затронул их все. Сначала один неоцениваемый прогревочный запрос на поставщика, чтобы установка соединения не учитывалась. Первое аудио — это время от отправки запроса до получения первых непустых байтов аудио. ElevenLabs использовала готовый голос «Adam», OpenAI — «alloy», Google — «Kore», а fal — голоса по умолчанию.
• Стоимость этого теста: около $3,30 за вызовы API по прайс-листу (наши оценки по каждому вызову, журналируются), плюс около 600 кредитов тарифа ElevenLabs. Набор скриптов, построитель тестового набора и оценщик находятся в репозитории Stork в папке scripts/bench, а необработанные транскрипты сохранены, так что каждую цифру здесь можно проверить.

Чего этот тест не показывает#

• Точность и задержка в потоковом режиме. Все модели здесь вызывались с готовым файлом. Телефонные агенты используют потоковое распознавание с определением конца реплики — это другой и, как правило, менее точный режим.
• Модели, до которых мы не смогли добраться. Не тестировались в этом раунде: Deepgram (Nova-3, Flux), AssemblyAI (Universal), Speechmatics, Soniox, Gladia, Cartesia Ink, Rime, Azure, Amazon Transcribe, Google Cloud Chirp, ElevenLabs Scribe v3 напрямую и Whisper на Groq. Отсутствие модели не означает, что она хуже.
• Реальные звонящие на реальных линиях. Звонящие в Harper Valley — реальные люди, но они играют роли, записаны через веб-приложение, а наша телефонная линия имитируется. Акценты, громкая связь и дешёвые Bluetooth-гарнитуры будут сложнее.
• Размер выборки. 245 оцениваемых сущностей и 16,6 минуты на условие достаточно, чтобы отделить хорошие модели от слабых, но не чтобы ранжировать первую пятёрку. В некоторых классах сущностей по 15 или 16 элементов.
• Один прогон. Данные о числе искажённых транскрипций получены за один проход. Часть результатов может не повториться; в следующем месяце мы сообщим, повторились ли они.

Далее: полный тест телефонного агента#

Показатели отдельных компонентов не отражают того, что слышит звонящий. В следующем тесте мы построим одного и того же ресепшн-агента на Vapi, Retell, ElevenLabs Agents, Telnyx, Bland и на собственном стеке LiveKit или Pipecat, позвоним на каждый через реальную телефонную сеть с реального номера и измерим время ответа, задержку реплик, перебивания, правильность записи имени, номера и адреса звонящего, а также фактическую стоимость за минуту. Если вы используете одну из этих платформ и хотите участвовать, ничего не меняется: мы оплачиваем собственные аккаунты и не принимаем плату за размещение.