전화 회선에서의 결과#
| Model (vendor) | Word error rate, phone line | With background noise | Names, digits, addresses right | Broken transcripts (of 60) | Reply time p50 / p90 | List price per hour of audio |
|---|---|---|---|---|---|---|
| gpt-transcribe (OpenAI) | 5.5% | 6.4% | 97.5% | 0 | 0.61 s / 0.69 s | $0.27 |
| gpt-4o-mini-transcribe (OpenAI) | 5.5% | 7.3% | 96.3% | 0 | 0.71 s / 0.87 s | $0.18 |
| Scribe v2 (ElevenLabs, via fal) | 5.9% | 11.1% | 95.9% | 1 | 1.61 s / 1.81 s | $0.48 on fal ($0.20 direct) |
| Gemini 3.5 Transcribe (Google) | 5.9% | 6.9% | 95.9% | 0 | 1.56 s / 1.95 s | about $0.30 |
| Gemini 3.8 Flash (Google) | 6.0% | 6.4% | 95.9% | 1 | 2.00 s / 2.47 s | about $0.11 (our estimate) |
| Whisper large-v3 (fal Wizper) | 6.1% | 8.1% | 95.1% | 1 | 3.48 s / 24.5 s | not published |
| Cohere Transcribe (via fal) | 6.3% | 6.8% | 93.1% | 0 | 1.15 s / 1.42 s | $0.25 on fal |
| whisper-1 (OpenAI) | 10.8% | 11.1% | 88.2% | 3 | 1.27 s / 1.60 s | $0.36 |
| Gemini 3.5 Flash-Lite (Google) | 13.2% | 8.6% | 86.5% | 3 | 1.16 s / 1.28 s | about $0.06 (our estimate) |
| gpt-4o-transcribe (OpenAI) | 15.0% | 9.3% | 83.7% | 6 | 0.75 s / 0.96 s | $0.36 |
조사 결과#
1. 상위 5개 모델은 정확도에서 통계적으로 동률입니다#
7개 모델의 단어 오류율이 5.5%에서 6.3%까지 분포해 순위처럼 보이지만, 실제로는 순위가 아닙니다. gpt-transcribe의 95% 신뢰구간은 3.9%에서 7.4%이며, Cohere Transcribe까지 아래 모든 모델이 이 구간과 겹칩니다. 오디오 길이가 16.6분이라면 1포인트 차이는 노이즈에 불과합니다. 이 모델들 중에서 선택하신다면, 0.5포인트 수준의 WER 차이가 아니라 신뢰성, 지연 시간, 가격, 기능(스트리밍, 키워드 부스팅, 데이터 보존)을 기준으로 선택하십시오.
2. 모델 간 차이는 신뢰성에서 나타납니다#
각 모델은 약 50초 길이의 녹음 60개(20개 녹음, 3가지 오디오 조건)를 전사했습니다. gpt-4o-transcribe는 그중 6개에서 심하게 불완전한 전사를 반환했습니다. 호출자 발화 8턴으로 된 한 녹음에서는 "12:15 p.m."만, 17턴으로 된 다른 녹음에서는 "The amount of the bill is $61."만 반환했습니다. whisper-1과 Gemini 3.5 Flash-Lite는 각각 3번 그랬습니다. Gemini 3.8 Flash는 한 번 전사문 앞에 지어낸 제목을 붙이고 텍스트를 반복했으며, Scribe v2는 소음이 있는 녹음 하나에서 한 번 의미 없는 문자열을 짧게 반환했습니다. gpt-transcribe, gpt-4o-mini-transcribe, Gemini 3.5 Transcribe, Cohere Transcribe는 깨진 전사를 반환하지 않았습니다.
저희 녹음은 서로 관련 없는 짧은 발화들을 1초 간격으로 이어 붙인 것이어서 연속된 하나의 통화보다 가혹하므로, 이 횟수는 스트레스 테스트로 보셔야 합니다. 그러나 전화 에이전트는 통화자가 말한 내용 대부분을 조용히 누락하는 전사를 감당할 수 없으며, 평균 WER은 바로 그 점을 가립니다.
3. 이름, 숫자, 주소#
| Model | Names (45) | Digit strings (29) | Street addresses (16) | Dollar amounts (15) | Clock times (16) | Places (19) | Dates and numbers (97) |
|---|---|---|---|---|---|---|---|
| gpt-transcribe | 93% | 100% | 94% | 100% | 100% | 95% | 99% |
| gpt-4o-mini-transcribe | 91% | 100% | 100% | 87% | 100% | 95% | 98% |
| Scribe v2 (fal) | 89% | 100% | 100% | 100% | 100% | 95% | 97% |
| Gemini 3.5 Transcribe | 93% | 100% | 100% | 100% | 88% | 89% | 97% |
| Gemini 3.8 Flash | 91% | 97% | 100% | 100% | 88% | 95% | 98% |
| Whisper large-v3 (Wizper) | 87% | 100% | 100% | 100% | 100% | 89% | 96% |
| Cohere Transcribe (fal) | 84% | 86% | 94% | 100% | 100% | 95% | 97% |
| whisper-1 | 82% | 100% | 75% | 100% | 100% | 74% | 89% |
| Gemini 3.5 Flash-Lite | 84% | 100% | 100% | 100% | 81% | 63% | 84% |
| gpt-4o-transcribe | 87% | 97% | 100% | 33% | 0% | 95% | 95% |
이름은 모든 모델에서 가장 어려운 유형이었습니다. 유럽 의회 데이터셋의 드문 성(Siwiec, Mates, Machiavelli)과, 전화 회선에서 잘못 들린 흔한 통화자 이름("James"가 "Jane"으로)이 그 예입니다. 전화 에이전트에게 가장 필요한 음성 숫자열은 표기 형식을 무시하면 대부분의 모델에서 거의 완벽했습니다. 실제로는 이 표기 형식이 중요합니다. Whisper large-v3는 시간을 "1.45 pm"으로 썼지만 대부분의 모델은 "1:45 PM"으로 썼고, 전화번호의 대시와 공백 처리도 모델마다 다릅니다. 에이전트의 파서는 이 모두를 받아들여야 합니다.
4. 응답 시간#
완성된 파일로 한 번에 하나씩 보낸 12개의 짧은 통화자 발화(평균 음성 길이 2.8초)에서, OpenAI의 최신 모델 3개가 가장 빠르게 응답했습니다. gpt-transcribe는 중앙값 0.61초, 90번째 백분위수 0.69초였습니다. Gemini 모델은 중앙값 1.2~2.0초가 걸렸습니다. fal에서 호스팅되는 모델에는 fal 자체의 라우팅이 포함됩니다. Wizper는 처음 5개 요청이 5~30초, 이후 7개는 각각 약 2.5초가 걸렸는데, fal이 처리 용량을 늘리는 과정으로 보이며 측정된 그대로 보고합니다. 이 중 어느 것도 스트리밍 지연 시간이 아닙니다. 실제 전화 에이전트는 오디오를 스트리밍하여 통화자가 말하는 동안 부분 단어를 받아오지만, 이러한 배치 엔드포인트는 그렇게 하지 않습니다. 스트리밍 모델은 키를 확보하는 대로 테스트할 예정입니다.
텍스트-음성 변환: 첫 오디오까지의 시간#
음성 모델이 첫 오디오를 보내기 전에는 전화 에이전트가 말할 수 없으므로, 응답 지연에서는 첫 오디오까지의 시간(TTFA)이 중요한 수치입니다. 접수 담당자가 하는 동일한 세 문장("Thanks for calling Riverside Dental, this is Ava. How can I help you today?", 날짜와 시간이 포함된 예약 제안, 전화번호 끝자리가 포함된 확인 안내)을 요청당 한 문장씩, 모델당 21회 요청하여, 캘리포니아에서 유지된 연결을 통해 모델 간 라운드로빈 방식으로 보냈습니다.
| Voice model (vendor) | First audio p50 / p90 | Full sentence p50 / p90 | List price per hour of audio |
|---|---|---|---|
| Flash v2.5 (ElevenLabs) | 0.22 s / 0.28 s | 0.43 s / 0.54 s | $2.37 |
| v4 Turbo (ElevenLabs) | 0.29 s / 0.45 s | 1.05 s / 1.39 s | $2.01 |
| Gemini 3.8 Flash Lite TTS (Google) | 0.47 s / 0.51 s | 1.27 s / 1.44 s | $0.54 |
| gpt-4o-mini-tts (OpenAI) | 0.64 s / 0.77 s | 1.37 s / 1.55 s | $12 per 1M audio tokens; no hourly figure published |
| Gemini 3.8 Flash TTS (Google) | 0.68 s / 0.79 s | 1.95 s / 2.27 s | $0.81 |
| tts-1 (OpenAI) | 1.20 s / 1.64 s | 1.69 s / 2.46 s | $0.80 |
| Inworld TTS-1.5 Max (via fal) | not streamed | 4.12 s / 8.86 s | $0.45 on fal |
| MiniMax Speech 2.8 Turbo (via fal) | not streamed | 4.67 s / 6.78 s | $2.58 on fal |
| xAI TTS v1 (via fal) | not streamed | 3.19 s / 3.57 s | $0.77 on fal |
ElevenLabs Flash v2.5가 지연 시간에서 뚜렷한 선두였습니다. 첫 오디오까지 중앙값 0.22초, 90번째 백분위수 0.3초 미만으로, ElevenLabs 외 가장 빠른 음성(Gemini 3.8 Flash Lite TTS, 0.47초)보다 약 2배 빨랐습니다. 또한 여기서 가장 비싼 스트리밍 음성으로, 정가 기준 오디오 1시간당 약 $2.37이며 Google과 OpenAI의 3~4배입니다. ElevenLabs의 신형 v4 Turbo는 거의 비슷하게 빨리 시작했지만(0.29초) 각 문장을 끝내는 데 더 오래 걸렸습니다. Google의 Gemini 3.8 Flash Lite TTS는 가장 저렴한 스트리밍 옵션으로 시간당 약 $0.54였고 첫 오디오는 꾸준히 0.47초였습니다. OpenAI의 구형 tts-1은 시작이 1.2초로 가장 느렸고, 신형 gpt-4o-mini-tts는 0.64초에 시작했습니다.
fal.ai를 통해서만 접근한 3개 모델(Inworld TTS-1.5 Max, MiniMax, xAI)은 스트림이 아닌 완성된 파일을 반환하므로, fal의 대기열을 포함해 중앙값 3~5초인 전체 파일까지의 시간만 보고할 수 있습니다. 이는 각 사의 자체 API에서의 스트리밍 지연 시간에 대해서는 아무것도 알려주지 않으며, 해당 부분은 테스트하지 않았습니다. Inworld는 fal을 통해 시간당 약 $0.45로, 저희가 측정한 음성 중 가장 저렴했습니다. 이번 테스트에서는 음성 품질을 평가하지 않았습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
테스트 방법#
- 오디오, 실제 사람: Harper Valley Bank 코퍼스(Gridspace 및 Stanford, CC BY 4.0, SLUE phase 2에 포함된 형태)의 통화자 발화 105개: 은행에 전화하는 상황을 역할극으로 연기하며 이름, 전화번호와 계좌번호, 우편번호, 도로명 주소, 금액, 예약 시간을 말하는 사람들입니다. 여기에 억양이 있는 음성과, 사람·장소·조직·날짜·숫자가 라벨링된 SLUE VoxPopuli 개체명 데이터셋(유럽 의회 연설, 오디오 CC0, 라벨 CC BY 4.0)의 발화 50개를 더했습니다. 총 155개 발화, 16.6분이며 고정된 난수 시드로 선정했습니다.
- 세 가지 조건: 원본 16 kHz 오디오, 전화 회선(300~3,400 Hz 대역 통과, 8 kHz, 대부분의 미국 전화 통화에 쓰이는 코덱인 G.711 mu-law), 그리고 신호 대 잡음비 15 dB의 핑크 배경 소음을 더한 전화 회선입니다. 이는 소프트웨어로 전화 회선을 시뮬레이션한 것입니다. 패킷 손실과 에코가 추가될 수 있는 실제 통신사 경로가 아닙니다.
- 요청: 발화들을 1초 간격으로 이어 약 50초 길이의 녹음 20개로 만들었고, 모델당 녹음 하나에 요청 하나를 보냈습니다(정확도 측정용 600건). API가 허용하는 경우 영어로 설정했습니다. 프롬프트, 키워드 목록, 사용자 지정 어휘는 사용하지 않았습니다. Gemini Flash 모델에는 "transcribe verbatim"이라는 한 줄 지시를 주었으며, Gemini 3.5 Transcribe는 프롬프트를 받지 않습니다.
- 채점: 양쪽 모두에 OpenAI의 Whisper English text normaliser를 적용하고, 표기 형식이 오류로 계산되지 않도록 네 가지 보정을 더했습니다: 괄호 유지, 앞의 0 유지, "1.45 pm"을 1:45 pm으로 해석, 각 숫자를 개별 단어로 계산(전화번호에서 숫자 하나가 틀리면 오류 1건이며, "332-910-9693"은 "three three two nine one zero nine six nine three"와 같습니다). 단어 오류율은 전체 오류 수를 전체 기준 단어 수로 나눈 값이며, 녹음 단위 부트스트랩 95% 구간을 함께 제시합니다. 개체는 자신의 발화에 정렬된 단어에 정확히 나타나는 경우에만 정답으로 인정합니다. 어떤 조건에서도 어느 모델도 맞히지 못한 개체 14개는 기준 오류로 보고 제외했습니다(대부분 기준에서 악센트가 제거된 이름이며, 예를 들어 "Pöttering"이 "pttering"으로 적힌 경우입니다).
- 응답 시간: 전화 회선 조건의 통화자 발화 12개를 한 번에 하나씩 보내, 캘리포니아의 가정용 회선에 연결된 컴퓨터 한 대에서 요청을 보낸 시점부터 전체 전사문을 받을 때까지의 실제 경과 시간을 측정했습니다. 업로드 시간이 포함됩니다. 수치는 위치에 따라 달라지므로, 다른 곳의 수치가 아니라 이 표 안에서 모델끼리 비교하시기 바랍니다.
- 호스팅 모델: ElevenLabs Scribe v2, Cohere Transcribe, Whisper large-v3는 fal.ai를 통해 호출했습니다. 저희 ElevenLabs 키에 음성-텍스트 변환 권한이 없고 Cohere 키도 없기 때문입니다. fal은 자체 라우팅 시간을 더하고 자체 가격을 부과합니다(Scribe v2는 분당 $0.008이며, ElevenLabs 직접 가격은 시간당 $0.20).
- 가격: 2026년 11월 11일 기준 각 벤더 자체 페이지의 정가: OpenAI, ElevenLabs, Google, Cohere, fal의 모델 페이지. Gemini 3.8 Flash와 Flash-Lite는 토큰 단위로 과금되므로, 초당 25 오디오 토큰과 반환된 텍스트를 기준으로 시간당 비용을 추정했습니다. Google 페이지에 따르면 Gemini 3.8 Flash 가격은 2027년 1월 1일에 두 배가 됩니다. fal은 Wizper에 대해 사용할 수 있는 분당 가격을 표시하지 않습니다. Cohere는 프로덕션용 Transcribe를 분 단위가 아닌 전용 인스턴스를 통해 "from $3.75 / hour / instance"에 판매합니다.
- 음성 모델: 요청당 한 문장, 3개 문장을 7라운드(모델당 21회 요청) 진행했고, 네트워크 순간 장애가 모든 모델에 영향을 주도록 모델을 교차 배치했습니다. 연결 설정이 포함되지 않도록 벤더별로 채점하지 않는 워밍업 요청을 먼저 한 번 보냈습니다. 첫 오디오는 요청을 보낸 시점부터 비어 있지 않은 첫 오디오 바이트를 받을 때까지입니다. ElevenLabs는 기본 제공 "Adam" 음성, OpenAI는 "alloy", Google은 "Kore", fal은 기본 음성을 사용했습니다.
- 이번 테스트의 비용: 정가 기준 API 호출 약 $3.30(기록된 호출별 추정치)과 ElevenLabs 요금제 크레딧 약 600입니다. 하니스, 테스트 세트 빌더, 채점기는 Stork 저장소의 scripts/bench에 있으며, 여기 제시된 모든 수치를 확인할 수 있도록 원본 전사문을 보관하고 있습니다.
이 테스트가 알려주지 않는 것#
- 스트리밍 정확도와 지연 시간. 여기의 모든 모델은 완성된 파일로 호출했습니다. 전화 에이전트는 발화 종료 감지가 포함된 스트리밍 인식을 사용하며, 이는 다른 방식이고 대체로 정확도가 더 낮습니다.
- 접근하지 못한 모델. 이번 라운드에서 테스트하지 않음: Deepgram(Nova-3, Flux), AssemblyAI(Universal), Speechmatics, Soniox, Gladia, Cartesia Ink, Rime, Azure, Amazon Transcribe, Google Cloud Chirp, ElevenLabs Scribe v3 직접 호출, Groq에서 호스팅되는 Whisper. 목록에 없는 모델이 더 나쁜 모델이라는 뜻은 아닙니다.
- 실제 회선의 실제 통화자. Harper Valley 통화자는 실제 사람이지만 역할극을 하며 웹 앱에서 녹음되었고, 저희의 전화 회선은 시뮬레이션입니다. 억양, 스피커폰, 저가 블루투스 헤드셋에서는 더 어려울 것입니다.
- 표본 크기. 조건당 채점 대상 개체 245개와 16.6분은 좋은 모델과 약한 모델을 가르기에는 충분하지만, 상위 5개의 순위를 매기기에는 충분하지 않습니다. 일부 개체 유형은 15개 또는 16개 항목만 있습니다.
- 1회 실행. 깨진 전사본 수치는 한 번의 테스트에서 나온 결과입니다. 일부는 반복되지 않을 수 있으며, 반복 여부는 다음 달에 보고하겠습니다.
다음 과제: 전체 전화 에이전트 테스트#
개별 구성 요소의 수치만으로는 발신자가 실제로 듣는 품질을 알 수 없습니다. 다음 테스트에서는 동일한 리셉셔니스트를 Vapi, Retell, ElevenLabs Agents, Telnyx, Bland, 그리고 자체 호스팅 LiveKit 또는 Pipecat 스택에 각각 구축하고, 실제 전화번호로 실제 전화망을 통해 각각에 전화를 걸어 응답 시간, 답변 지연, 끼어들기 처리, 에이전트가 발신자의 이름·전화번호·주소를 정확하게 받아 적었는지 여부, 그리고 분당 실제 비용을 측정합니다. 위 플랫폼 중 하나를 운영하고 계시며 포함되기를 원하신다면, 달라지는 것은 없습니다. 저희는 자체 계정 비용을 직접 지불하며 게재 대가를 받지 않습니다.
자주 묻는 질문#
전화 통화에서 가장 정확한 음성 인식(speech-to-text) 모델은 무엇인가요?#
시뮬레이션한 G.711 전화 음성을 사용한 Stork의 2026년 11월 테스트에서 OpenAI gpt-transcribe와 gpt-4o-mini-transcribe(단어 오류율 5.5%), ElevenLabs Scribe v2와 Gemini 3.5 Transcribe(5.9%), Gemini 3.8 Flash(6.0%)는 오차 범위 내에서 동률이었습니다. gpt-transcribe는 이름, 숫자, 주소를 가장 많이 정확하게 인식했고(97.5%) 응답도 가장 빨랐습니다.
8 kHz 전화 음성은 전사 품질을 크게 떨어뜨리나요?#
이번 테스트에서 성능이 더 좋았던 최신 모델에는 해당하지 않습니다. 16 kHz 음성에서 8 kHz G.711로 바꿨을 때 gpt-transcribe, gpt-4o-mini-transcribe, Gemini 3.5 Transcribe, ElevenLabs Scribe v2의 단어 오류율 변화는 0.3포인트 이하였습니다. 신호 대 잡음비 15 dB의 배경 소음을 추가하자 대부분의 모델에서 0.4~2.0포인트의 손실이 발생했습니다.
gpt-4o-transcribe는 전화 에이전트에 적합한가요?#
이번 테스트에서 가장 신뢰도가 낮은 모델이었습니다. 60개 녹음 중 6개에서 발화 내용의 일부만 반환했고, 이로 인해 전화 회선에서의 오류율이 15%까지 올라갔습니다. OpenAI의 더 새로운 모델인 gpt-transcribe와 gpt-4o-mini-transcribe에서는 이러한 실패가 없었고 비용도 더 낮았습니다.
음성 인식(speech-to-text) 비용은 시간당 얼마인가요?#
2026년 11월 11일 기준 정가: OpenAI gpt-4o-mini-transcribe는 시간당 $0.18, gpt-transcribe는 $0.27, whisper-1과 gpt-4o-transcribe는 $0.36입니다. ElevenLabs Scribe v2는 직접 이용 시 시간당 $0.20(fal을 통하면 $0.48)이며, Gemini 3.5 Transcribe는 Google의 추정에 따르면 시간당 약 $0.30입니다.
지연 시간이 가장 짧은 음성 합성(text-to-speech) 모델은 무엇인가요?#
2026년 11월 테스트에서 ElevenLabs Flash v2.5는 중앙값 기준 0.22초, 90번째 백분위수 기준 0.28초 만에 첫 오디오를 전송했으며, 이는 ElevenLabs가 아닌 가장 빠른 음성보다 약 두 배 빠른 수준입니다. Google의 Gemini 3.8 Flash Lite TTS는 오디오 1시간당 약 $0.54로 가장 저렴한 스트리밍 음성이었으며, 첫 오디오는 0.47초에 나왔습니다.
Deepgram과 AssemblyAI는 왜 빠져 있나요?#
저희는 Stork가 이미 보유한 API 키로만 테스트하며, 이번 달에는 Deepgram, AssemblyAI, Speechmatics, Soniox, Gladia, Cartesia, Rime의 키가 없었습니다. 이들은 다음 월간 테스트의 우선 대상입니다.