電話音声のSTT:名前、数字、レイテンシーで10モデルを検証(2026年11月)

電話回線での結果#

調査結果#

1. 上位5モデルは精度において統計的に差がない#

7つのモデルの単語誤り率は 5.5% から 6.3% で、順位があるように見えますが、実際には順位づけできません。gpt-transcribe の 95% 信頼区間は 3.9% から 7.4% で、Cohere Transcribe までのすべてのモデルがこれと重なっています。音声の長さが 16.6分では、1ポイントの差は誤差の範囲です。これらのモデルから選ぶ際は、WER の0.5ポイントの差ではなく、信頼性、レイテンシ、価格、機能（ストリーミング、キーワードブースト、データ保持）で選んでください。

2. モデル間で差が出るのは信頼性#

各モデルは、約50秒の録音60件(20件の録音、3つの音声条件)を書き起こしました。gpt-4o-transcribeは、そのうち6件で大幅に不完全な書き起こしを返しました。通話者の発話8ターンの録音では「12:15 p.m.」のみ、17ターンの録音では「The amount of the bill is $61.」のみでした。whisper-1とGemini 3.5 Flash-Liteは、それぞれ3回ずつ同様の結果になりました。Gemini 3.8 Flashは一度、書き起こしの先頭に架空の見出しを付けて、テキストを繰り返しました。Scribe v2は、ノイズのある録音に対して一度、意味のない短い文字列を返しました。gpt-transcribe、gpt-4o-mini-transcribe、Gemini 3.5 Transcribe、Cohere Transcribeは、破綻した書き起こしを返しませんでした。

当社の録音は、短く無関係なターンを1秒の間隔でつないでおり、1本の連続した通話より厳しい条件です。そのため、これらの件数はストレステストとして扱ってください。ただし、電話エージェントは、通話者の発言の大半を黙って欠落させる書き起こしを許容できず、WERの平均はまさにその点を覆い隠します。

3. 名前、数字、住所#

名前は、すべてのモデルにとって最も難しい分類でした。欧州議会のデータセットに含まれる珍しい姓(Siwiec、Mates、Machiavelli)や、電話回線で聞き間違えられやすい一般的な通話者の名前(「James」が「Jane」になるなど)です。電話エージェントが最も必要とする数字の読み上げは、表記を無視すれば、大半のモデルでほぼ完璧でした。実際には、その表記が重要です。Whisper large-v3は時刻を「1.45 pm」と書きましたが、大半のモデルは「1:45 PM」と書きました。また、電話番号のハイフンやスペースの扱いもモデルによって異なります。エージェントのパーサーは、これらすべてを受け入れる必要があります。

4. 応答時間#

12件の短い通話者ターン(平均2.8秒の音声)を、完成したファイルとして1件ずつ送信したところ、OpenAIの新しい3モデルが最速で応答しました。gpt-transcribeは中央値0.61秒、90パーセンタイルで0.69秒です。Geminiモデルは中央値で1.2〜2.0秒でした。falでホストされているモデルには、fal独自のルーティングが含まれます。Wizperは最初の5リクエストが5〜30秒、その後の7リクエストが各約2.5秒で、falが処理能力を立ち上げていたように見えますが、測定値のまま報告しています。これらはいずれもストリーミングのレイテンシーではありません。本番の電話エージェントは音声をストリーミングし、通話者が話している間に部分的な単語を受け取りますが、これらのバッチエンドポイントではそれができません。ストリーミングモデルは、キーを入手でき次第テストします。

テキスト読み上げ:最初の音声までの時間#

電話エージェントは、音声モデルが最初の音声を送信するまで話すことができません。そのため、応答の遅延を左右するのは、最初の音声までの時間(TTFA)です。受付担当者の3つの文(「Thanks for calling Riverside Dental, this is Ava. How can I help you today?」、日付と時刻を含む予約の案内、電話番号の末尾を含む確認)を、1リクエストにつき1文で、モデルごとに21リクエスト、カリフォルニアからウォーム状態の接続を使い、モデル間でラウンドロビンにして送信しました。

ElevenLabs Flash v2.5は、明確なレイテンシーのリーダーでした。最初の音声までの時間は中央値0.22秒、90パーセンタイルでも0.3秒未満で、ElevenLabs以外で最速の音声(Gemini 3.8 Flash Lite TTSの0.47秒)の約2倍の速さです。また、ここにあるストリーミング音声の中で最も高価でもあり、定価で音声1時間あたり約$2.37と、GoogleやOpenAIの3〜4倍です。ElevenLabsの新しいv4 Turboの開始はほぼ同じ速さ(0.29秒)でしたが、各文を完了するまでに時間がかかりました。GoogleのGemini 3.8 Flash Lite TTSは、ストリーミングで最も安価で、1時間あたり約$0.54、最初の音声までは安定して0.47秒でした。OpenAIの旧型tts-1は開始が最も遅く1.2秒で、新しいgpt-4o-mini-ttsは0.64秒で開始しました。

fal.ai経由でのみ利用できた3つのモデル(Inworld TTS-1.5 Max、MiniMax、xAI)は、ストリームではなく完成したファイルを返すため、報告できるのはファイル全体までの時間のみで、falのキュー待ちを含めて中央値3〜5秒でした。これは、各社独自のAPIでのストリーミングのレイテンシーについては何も示しておらず、その点はテストしていません。Inworldは、fal経由で1時間あたり約$0.45と、測定した中で最も安価な音声でした。このテストでは、音声の品質は評価していません。

テスト方法#

• 音声(実在の人物): Harper Valley Bankコーパス(GridspaceとStanford、CC BY 4.0、SLUE phase 2に収録されたもの)の通話者ターン105件。銀行への電話をロールプレイした人々が、名前、電話番号と口座番号、郵便番号、住所、金額、予約時刻を述べています。さらに、アクセントのある音声として、人名、地名、組織名、日付、数字のラベルが付いたSLUE VoxPopuliの固有表現セット(欧州議会の演説、音声はCC0、ラベルはCC BY 4.0)から50発話を使用しました。合計155発話、16.6分で、固定の乱数シードで選びました。
• 3つの条件: 元の16 kHz音声、電話回線(300〜3,400 Hzのバンドパス、8 kHz、G.711 mu-law。米国の大半の電話通話で使われるコーデック)、そして15 dBのSN比でピンクノイズの背景音を加えた電話回線です。これは電話回線をソフトウェアで模擬したものです。パケットロスやエコーが加わりうる、実際の通信事業者の経路ではありません。
• リクエスト: 発話を1秒の間隔でつなぎ、約50秒の録音20件にして、録音1件・モデル1つにつき1リクエストを送信しました(精度検証で計600リクエスト)。APIが対応する場合は英語を指定しました。プロンプト、キーワードリスト、カスタム語彙は使用していません。Gemini Flashモデルには「transcribe verbatim」という1行の指示を与えました。Gemini 3.5 Transcribeはプロンプトを受け付けません。
• 採点: 双方にOpenAIのWhisper English text normaliserを適用し、さらに表記が誤りにならないよう4つの修正を加えました。括弧を残す、先頭のゼロを残す、「1.45 pm」を1:45 pmとして読む、各数字を1語として数える(電話番号の数字が1つ違えば誤りは1件で、「332-910-9693」は「three three two nine one zero nine six nine three」と等しい)というものです。単語誤り率は、総誤り数を参照語の総数で割った値で、録音単位のブートストラップによる95%区間を付けています。固有表現は、それ自身の発話に対応づけられた語の中に完全一致で現れた場合のみ正解としました。どの条件でもどのモデルも正解できなかった14件の固有表現は、参照の誤りとして除外しました(主に、参照でアクセント記号が除かれた名前で、たとえば「Pöttering」が「pttering」と書かれていたものです)。
• 応答時間: 電話回線条件の通話者ターン12件を1件ずつ送信し、リクエスト送信から完全な書き起こしを受信するまでの実時間を、カリフォルニアの家庭用回線に接続した1台のコンピュータから計測しました。アップロード時間を含みます。数値は場所によって異なるため、他所の数値ではなく、この表の中でモデル同士を比較してください。
• ホスト型モデル: ElevenLabs Scribe v2、Cohere Transcribe、Whisper large-v3は、当社のElevenLabsキーに音声認識の権限がなく、Cohereのキーもないため、fal.ai経由で呼び出しました。falは独自のルーティング時間を加え、独自の料金を請求します(Scribe v2は1分あたり$0.008で、ElevenLabsの直接料金は1時間あたり$0.20)。
• 料金: 2026年11月11日時点の各ベンダー自身のページに掲載された定価です。OpenAI、ElevenLabs、Google、Cohere、falの各モデルページを参照しました。Gemini 3.8 FlashとFlash-Liteはトークン課金のため、1秒あたり25音声トークンと返されたテキストから1時間あたりの費用を推定しました。Googleのページによると、Gemini 3.8 Flashの料金は2027年1月1日に2倍になります。falには、Wizperの利用可能な1分あたり料金が表示されていません。Cohereは本番向けTranscribeを、分単位ではなく専用インスタンス(「from $3.75 / hour / instance」)で提供しています。
• 音声モデル: 1リクエストにつき1文とし、3文を7ラウンド(モデルごとに21リクエスト)実施しました。ネットワークの一時的な乱れがすべてのモデルに影響するよう、モデルを交互に配置しています。接続の確立が計測に含まれないよう、最初にベンダーごとに採点対象外のウォームアップリクエストを1件送信しました。最初の音声とは、リクエストを送信してから、空でない最初の音声バイトを受信するまでを指します。ElevenLabsはプリメイドの「Adam」音声、OpenAIは「alloy」、Googleは「Kore」、falはデフォルトの音声を使用しました。
• このテストの費用: 定価でのAPI呼び出しが約$3.30(当社の呼び出しごとの推定値、記録済み)に加え、ElevenLabsプランのクレジットが約600です。ハーネス、テストセットのビルダー、採点ツールはStorkリポジトリのscripts/benchにあり、生の書き起こしも保管しているため、ここにある数値はすべて検証できます。

このテストでわからないこと#

• ストリーミングの精度とレイテンシー。 ここにあるモデルはすべて、完成したファイルで呼び出しました。電話エージェントは、発話終了検出を伴うストリーミング認識を使います。これは別のモードで、通常は精度が低くなります。
• 利用できなかったモデル。 今回テストしていないのは、Deepgram(Nova-3、Flux)、AssemblyAI(Universal)、Speechmatics、Soniox、Gladia、Cartesia Ink、Rime、Azure、Amazon Transcribe、Google Cloud Chirp、ElevenLabs Scribe v3の直接利用、GroqでホストされたWhisperです。テストしていないモデルが劣るモデルであるとは限りません。
• 実際の回線での実際の通話者。 Harper Valleyの通話者は実在の人物ですが、ロールプレイであり、Webアプリで録音されたもので、当社の電話回線は模擬です。アクセント、スピーカーフォン、安価なBluetoothヘッドセットでは、より難しくなるでしょう。
• サンプルサイズ。 採点した固有表現245件と、条件ごとに16.6分という量は、優れたモデルと弱いモデルを区別するには十分ですが、上位5モデルに順位を付けるには足りません。固有表現の分類によっては、項目数が15または16件のものもあります。
• 1回のみの実行です。 壊れた文字起こしの件数は1回の実行によるものです。再現しない可能性もあるため、再現するかどうかは来月報告します。

次回：電話エージェントの総合テスト#

コンポーネント単体の数値では、発信者に実際に何が聞こえるかはわかりません。次回のテストでは、同じ受付担当エージェントを Vapi、Retell、ElevenLabs Agents、Telnyx、Bland、およびセルフホストの LiveKit または Pipecat スタックで構築し、実際の電話回線を通じて実在の番号から各エージェントに発信します。測定項目は、応答までの時間、返答の遅延、割り込み、エージェントが発信者の名前・番号・住所を正しく書き留めたかどうか、そして1分あたりの実際のコストです。これらのプラットフォームを運営していて、テストへの参加を希望される場合も、特に変わることはありません。当社は自社のアカウント費用を自ら負担しており、掲載料は受け取っていません。