Résultats sur une ligne téléphonique#
| Model (vendor) | Word error rate, phone line | With background noise | Names, digits, addresses right | Broken transcripts (of 60) | Reply time p50 / p90 | List price per hour of audio |
|---|---|---|---|---|---|---|
| gpt-transcribe (OpenAI) | 5.5% | 6.4% | 97.5% | 0 | 0.61 s / 0.69 s | $0.27 |
| gpt-4o-mini-transcribe (OpenAI) | 5.5% | 7.3% | 96.3% | 0 | 0.71 s / 0.87 s | $0.18 |
| Scribe v2 (ElevenLabs, via fal) | 5.9% | 11.1% | 95.9% | 1 | 1.61 s / 1.81 s | $0.48 on fal ($0.20 direct) |
| Gemini 3.5 Transcribe (Google) | 5.9% | 6.9% | 95.9% | 0 | 1.56 s / 1.95 s | about $0.30 |
| Gemini 3.8 Flash (Google) | 6.0% | 6.4% | 95.9% | 1 | 2.00 s / 2.47 s | about $0.11 (our estimate) |
| Whisper large-v3 (fal Wizper) | 6.1% | 8.1% | 95.1% | 1 | 3.48 s / 24.5 s | not published |
| Cohere Transcribe (via fal) | 6.3% | 6.8% | 93.1% | 0 | 1.15 s / 1.42 s | $0.25 on fal |
| whisper-1 (OpenAI) | 10.8% | 11.1% | 88.2% | 3 | 1.27 s / 1.60 s | $0.36 |
| Gemini 3.5 Flash-Lite (Google) | 13.2% | 8.6% | 86.5% | 3 | 1.16 s / 1.28 s | about $0.06 (our estimate) |
| gpt-4o-transcribe (OpenAI) | 15.0% | 9.3% | 83.7% | 6 | 0.75 s / 0.96 s | $0.36 |
Ce que nous avons constaté#
1. Les cinq premiers sont statistiquement à égalité en précision#
Des taux d'erreur de mots de 5,5 % à 6,3 % pour sept modèles ressemblent à un classement, mais n'en sont pas un. Notre intervalle de confiance à 95 % pour gpt-transcribe va de 3,9 % à 7,4 %, et tous les modèles jusqu'à Cohere Transcribe le recoupent. Avec 16,6 minutes d'audio, un écart d'un point relève du bruit. Si vous choisissez entre ces modèles, fondez-vous sur la fiabilité, la latence, le prix et les fonctionnalités (streaming, renforcement de mots-clés, conservation des données), et non sur un demi-point de WER.
2. La fiabilité est ce qui distingue les modèles#
Chaque modèle a transcrit 60 enregistrements d'environ 50 secondes (20 enregistrements, trois conditions audio). gpt-4o-transcribe a renvoyé une transcription gravement incomplète sur 6 d'entre eux : pour un enregistrement de 8 tours de parole de l'appelant, il n'a renvoyé que « 12:15 p.m. », et pour un autre de 17 tours, seulement « The amount of the bill is $61. » whisper-1 et Gemini 3.5 Flash-Lite l'ont chacun fait 3 fois. Gemini 3.8 Flash a une fois fait précéder sa transcription d'un titre inventé et répété du texte, et Scribe v2 a une fois renvoyé une courte chaîne de caractères incohérents pour un enregistrement bruité. gpt-transcribe, gpt-4o-mini-transcribe, Gemini 3.5 Transcribe et Cohere Transcribe n'ont renvoyé aucune transcription défectueuse.
Nos enregistrements assemblent des tours de parole courts et sans rapport entre eux, séparés par des pauses d'une seconde, ce qui est plus exigeant qu'un appel continu ; considérez donc ces chiffres comme un test de résistance. Mais un agent téléphonique ne peut pas se permettre une transcription qui omet silencieusement l'essentiel de ce que l'appelant a dit, et une moyenne de WER masque précisément cela.
3. Noms, chiffres et adresses#
| Model | Names (45) | Digit strings (29) | Street addresses (16) | Dollar amounts (15) | Clock times (16) | Places (19) | Dates and numbers (97) |
|---|---|---|---|---|---|---|---|
| gpt-transcribe | 93% | 100% | 94% | 100% | 100% | 95% | 99% |
| gpt-4o-mini-transcribe | 91% | 100% | 100% | 87% | 100% | 95% | 98% |
| Scribe v2 (fal) | 89% | 100% | 100% | 100% | 100% | 95% | 97% |
| Gemini 3.5 Transcribe | 93% | 100% | 100% | 100% | 88% | 89% | 97% |
| Gemini 3.8 Flash | 91% | 97% | 100% | 100% | 88% | 95% | 98% |
| Whisper large-v3 (Wizper) | 87% | 100% | 100% | 100% | 100% | 89% | 96% |
| Cohere Transcribe (fal) | 84% | 86% | 94% | 100% | 100% | 95% | 97% |
| whisper-1 | 82% | 100% | 75% | 100% | 100% | 74% | 89% |
| Gemini 3.5 Flash-Lite | 84% | 100% | 100% | 100% | 81% | 63% | 84% |
| gpt-4o-transcribe | 87% | 97% | 100% | 33% | 0% | 95% | 95% |
Les noms ont été la catégorie la plus difficile pour tous les modèles : noms de famille inhabituels issus de l'ensemble du Parlement européen (Siwiec, Mates, Machiavelli) et noms courants d'appelants mal compris sur une ligne téléphonique (« James » transcrit « Jane »). Les suites de chiffres dictées, ce dont les agents téléphoniques ont le plus besoin, étaient quasi parfaites pour la plupart des modèles une fois le formatage ignoré. En pratique, ce formatage compte : Whisper large-v3 écrivait les heures « 1.45 pm » là où la plupart des modèles écrivaient « 1:45 PM », et les modèles diffèrent sur les tirets et les espaces dans les numéros de téléphone. L'analyseur de votre agent doit tous les accepter.
4. Temps de réponse#
Pour 12 tours de parole courts d'appelants (2,8 secondes de parole en moyenne), envoyés un par un sous forme de fichier terminé, les trois modèles OpenAI les plus récents ont répondu le plus vite : gpt-transcribe à 0,61 s en médiane et 0,69 s au 90e centile. Les modèles Gemini ont mis de 1,2 à 2,0 s en médiane. Les modèles hébergés par fal incluent le routage propre à fal. Les cinq premières requêtes de Wizper ont pris de 5 à 30 secondes et les sept suivantes environ 2,5 s chacune, ce qui ressemble à une montée en capacité côté fal ; nous le rapportons tel que mesuré. Rien de tout cela ne correspond à la latence en streaming. Un agent téléphonique en production diffuse l'audio en flux et reçoit des mots partiels pendant que l'appelant parle encore, ce que ces points d'accès par lots ne font pas ; nous testerons les modèles en streaming lorsque nous aurons des clés pour eux.
Synthèse vocale : délai du premier audio#
Un agent téléphonique ne peut pas parler avant que le modèle vocal n'envoie son premier audio ; le délai avant le premier audio (TTFA) est donc le chiffre qui détermine le retard de réponse. Nous avons envoyé les trois mêmes phrases de réceptionniste (« Thanks for calling Riverside Dental, this is Ava. How can I help you today? », une proposition de rendez-vous avec une date et une heure, et une confirmation avec une fin de numéro de téléphone), une phrase par requête, 21 requêtes par modèle, en alternance entre les modèles sur une connexion déjà établie depuis la Californie.
| Voice model (vendor) | First audio p50 / p90 | Full sentence p50 / p90 | List price per hour of audio |
|---|---|---|---|
| Flash v2.5 (ElevenLabs) | 0.22 s / 0.28 s | 0.43 s / 0.54 s | $2.37 |
| v4 Turbo (ElevenLabs) | 0.29 s / 0.45 s | 1.05 s / 1.39 s | $2.01 |
| Gemini 3.8 Flash Lite TTS (Google) | 0.47 s / 0.51 s | 1.27 s / 1.44 s | $0.54 |
| gpt-4o-mini-tts (OpenAI) | 0.64 s / 0.77 s | 1.37 s / 1.55 s | $12 per 1M audio tokens; no hourly figure published |
| Gemini 3.8 Flash TTS (Google) | 0.68 s / 0.79 s | 1.95 s / 2.27 s | $0.81 |
| tts-1 (OpenAI) | 1.20 s / 1.64 s | 1.69 s / 2.46 s | $0.80 |
| Inworld TTS-1.5 Max (via fal) | not streamed | 4.12 s / 8.86 s | $0.45 on fal |
| MiniMax Speech 2.8 Turbo (via fal) | not streamed | 4.67 s / 6.78 s | $2.58 on fal |
| xAI TTS v1 (via fal) | not streamed | 3.19 s / 3.57 s | $0.77 on fal |
ElevenLabs Flash v2.5 était nettement en tête en latence : premier audio en 0,22 s en médiane et moins de 0,3 s au 90e centile, soit environ deux fois plus vite que la voix la plus rapide hors ElevenLabs (Gemini 3.8 Flash Lite TTS à 0,47 s). C'est aussi la voix en streaming la plus chère ici, à environ 2,37 $ par heure d'audio au tarif public, soit trois à quatre fois celui de Google et d'OpenAI. Le nouveau v4 Turbo d'ElevenLabs a démarré presque aussi vite (0,29 s) mais a mis plus de temps à terminer chaque phrase. Gemini 3.8 Flash Lite TTS de Google était l'option de streaming la moins chère, à environ 0,54 $ par heure, avec un premier audio stable à 0,47 s. L'ancien tts-1 d'OpenAI était le plus lent à démarrer, à 1,2 s ; son nouveau gpt-4o-mini-tts a démarré en 0,64 s.
Les trois modèles que nous n'avons atteints que via fal.ai (Inworld TTS-1.5 Max, MiniMax et xAI) renvoient un fichier terminé et non un flux ; nous ne pouvons donc rapporter que le délai pour le fichier entier, de 3 à 5 secondes en médiane, file d'attente de fal comprise. Cela ne dit rien de leur latence en streaming sur leurs propres API, que nous n'avons pas testée. Inworld était la voix la moins chère que nous ayons mesurée, à environ 0,45 $ par heure via fal. Nous n'avons pas évalué la qualité des voix dans ce test.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Comment nous avons testé#
- Audio, vraies personnes : 105 tours de parole d'appelants issus du corpus Harper Valley Bank (Gridspace et Stanford, CC BY 4.0, tel que packagé dans SLUE phase 2) : des personnes jouant des appels à une banque, donnant leurs noms, numéros de téléphone et de compte, codes postaux, adresses postales, montants et horaires de rendez-vous. Plus 50 énoncés de l'ensemble d'entités nommées SLUE VoxPopuli (discours du Parlement européen, audio CC0, étiquettes CC BY 4.0) pour de la parole accentuée avec des personnes, lieux, organisations, dates et nombres étiquetés. 155 énoncés, 16,6 minutes, choisis avec une graine aléatoire fixe.
- Trois conditions : l'audio d'origine à 16 kHz ; une ligne téléphonique (filtre passe-bande de 300 à 3.400 Hz, 8 kHz, G.711 mu-law, le codec de la plupart des appels téléphoniques aux États-Unis) ; et la ligne téléphonique avec un bruit de fond rose à un rapport signal/bruit de 15 dB. Il s'agit d'une simulation logicielle d'une ligne téléphonique, et non d'un véritable trajet opérateur, qui peut ajouter de la perte de paquets et de l'écho.
- Requêtes : les énoncés ont été assemblés en 20 enregistrements d'environ 50 secondes avec des pauses d'une seconde, une requête par enregistrement et par modèle (600 requêtes pour la précision). L'anglais a été défini lorsque l'API le permet. Aucun prompt, aucune liste de mots-clés ni vocabulaire personnalisé. Les modèles Gemini Flash ont reçu une instruction d'une ligne « transcribe verbatim » ; Gemini 3.5 Transcribe n'accepte pas de prompt.
- Notation : le normaliseur de texte anglais de Whisper d'OpenAI des deux côtés, plus quatre corrections pour que le formatage ne compte jamais comme une erreur : crochets conservés, zéros initiaux conservés, « 1.45 pm » lu comme 1:45 pm, et chaque chiffre compté comme un mot à part entière (de sorte qu'un chiffre erroné dans un numéro de téléphone représente une erreur, et que « 332-910-9693 » équivaut à « three three two nine one zero nine six nine three »). Le taux d'erreur de mots correspond au total des erreurs divisé par le total des mots de référence, avec un intervalle de confiance à 95 % par bootstrap sur les enregistrements. Une entité n'est considérée comme correcte que si elle apparaît exactement dans les mots alignés sur son propre énoncé. 14 entités qu'aucun modèle n'a reconnues correctement, dans aucune condition, ont été écartées comme erreurs de référence (surtout des noms dont les accents avaient été supprimés dans la référence, comme « Pöttering » écrit « pttering »).
- Temps de réponse : 12 tours de parole d'appelants sur la ligne téléphonique, envoyés un par un, durée réelle entre l'envoi de la requête et la réception de la transcription complète, depuis un seul ordinateur sur une connexion domestique en Californie. Le temps d'envoi est inclus. Vos chiffres différeront selon le lieu ; comparez les modèles au sein de ce tableau, pas avec des chiffres d'ailleurs.
- Modèles hébergés : ElevenLabs Scribe v2, Cohere Transcribe et Whisper large-v3 ont été appelés via fal.ai, car notre clé ElevenLabs n'a pas l'autorisation de reconnaissance vocale et nous n'avons pas de clé Cohere. fal ajoute son propre temps de routage et applique ses propres prix (0,008 $ par minute pour Scribe v2, contre 0,20 $ par heure en direct chez ElevenLabs).
- Prix : tarifs publics issus de la page de chaque fournisseur au 11 novembre 2026 : OpenAI, ElevenLabs, Google, Cohere et les pages de modèles de fal. Gemini 3.8 Flash et Flash-Lite sont facturés au jeton ; nous avons estimé leur coût horaire à partir de 25 jetons audio par seconde plus le texte renvoyé. La page de Google indique que les prix de Gemini 3.8 Flash doublent le 1er janvier 2027. fal n'affiche aucun prix par minute exploitable pour Wizper. Cohere vend Transcribe en production via des instances dédiées « from $3.75 / hour / instance », et non à la minute.
- Modèles vocaux : une phrase par requête, 7 séries des 3 phrases (21 requêtes par modèle), modèles entrelacés pour qu'une défaillance réseau les touche tous. Une requête de préchauffage non notée par fournisseur au préalable, afin que l'établissement de la connexion ne soit pas compté. Premier audio = de l'envoi de la requête à la réception des premiers octets audio non vides. ElevenLabs a utilisé sa voix prédéfinie « Adam », OpenAI « alloy », Google « Kore », et fal ses voix par défaut.
- Coût de ce test : environ 3,30 $ d'appels d'API aux tarifs publics (nos estimations par appel, consignées), plus environ 600 crédits du forfait ElevenLabs. Le banc d'essai, le constructeur du jeu de test et l'outil de notation se trouvent dans le dépôt Stork sous scripts/bench, et les transcriptions brutes sont conservées afin que chaque chiffre ici puisse être vérifié.
Ce que ce test ne vous dit pas#
- Précision et latence en streaming. Chaque modèle ici a été appelé avec un fichier terminé. Les agents téléphoniques utilisent la reconnaissance en streaming avec détection de fin de tour, un mode différent et généralement moins précis.
- Modèles que nous n'avons pas pu atteindre. Non testés dans cette série : Deepgram (Nova-3, Flux), AssemblyAI (Universal), Speechmatics, Soniox, Gladia, Cartesia Ink, Rime, Azure, Amazon Transcribe, Google Cloud Chirp, ElevenLabs Scribe v3 en direct et Whisper hébergé par Groq. Un modèle absent n'est pas un moins bon modèle.
- De vrais appelants sur de vraies lignes. Les appelants de Harper Valley sont de vraies personnes, mais ils jouent un rôle, enregistrés via une application web, et notre ligne téléphonique est simulée. Les accents, les haut-parleurs et les oreillettes Bluetooth bon marché seront plus difficiles.
- Taille de l'échantillon. 245 entités notées et 16,6 minutes par condition suffisent pour distinguer les bons modèles des modèles faibles, pas pour classer les cinq premiers. Certaines classes d'entités comptent 15 ou 16 éléments.
- Un seul passage. Les chiffres sur les transcriptions défaillantes proviennent d'un seul passage. Certains pourraient ne pas se reproduire ; nous indiquerons le mois prochain s'ils se confirment.
La suite : un test complet d'agent téléphonique#
Les chiffres par composant ne disent pas ce qu'entend réellement un appelant. Notre prochain test construit la même réceptionniste sur Vapi, Retell, ElevenLabs Agents, Telnyx, Bland et une pile LiveKit ou Pipecat auto-hébergée, appelle chacune par le véritable réseau téléphonique depuis un vrai numéro, et mesure le temps de décrochage, le délai de réponse, les interruptions, l'exactitude avec laquelle l'agent a noté le nom, le numéro et l'adresse de l'appelant, ainsi que le coût réel par minute. Si vous exploitez l'une de ces plateformes et souhaitez être incluse, rien ne change : nous payons nos propres comptes et n'acceptons aucun frais de placement.
Questions fréquentes#
Quel modèle de reconnaissance vocale est le plus précis sur les appels téléphoniques ?#
Lors du test de Stork de novembre 2026 sur de l'audio téléphonique G.711 simulé, OpenAI gpt-transcribe et gpt-4o-mini-transcribe (5,5 % de taux d'erreur de mots), ElevenLabs Scribe v2 et Gemini 3.5 Transcribe (5,9 %) et Gemini 3.8 Flash (6,0 %) étaient à égalité dans la marge d'erreur. gpt-transcribe a reconnu correctement le plus de noms, de chiffres et d'adresses (97,5 %) et a répondu le plus rapidement.
L'audio téléphonique à 8 kHz dégrade-t-il fortement la transcription ?#
Pas pour les meilleurs modèles actuels de notre test. Le passage d'un audio à 16 kHz à du G.711 à 8 kHz a modifié le taux d'erreur de mots de gpt-transcribe, gpt-4o-mini-transcribe, Gemini 3.5 Transcribe et ElevenLabs Scribe v2 de 0,3 point ou moins. L'ajout d'un bruit de fond à un rapport signal/bruit de 15 dB a coûté à la plupart d'entre eux de 0,4 à 2,0 points.
gpt-4o-transcribe convient-il aux agents téléphoniques ?#
C'était le modèle le moins fiable de notre test : sur 6 enregistrements sur 60, il n'a renvoyé qu'une partie de ce qui avait été dit, ce qui a porté son taux d'erreur à 15 % sur la ligne téléphonique. Les modèles plus récents d'OpenAI, gpt-transcribe et gpt-4o-mini-transcribe, n'ont connu aucune défaillance de ce type et coûtent moins cher.
Combien coûte la reconnaissance vocale par heure ?#
Prix catalogue au 11 novembre 2026 : OpenAI gpt-4o-mini-transcribe 0,18 $, gpt-transcribe 0,27 $, whisper-1 et gpt-4o-transcribe 0,36 $ par heure ; ElevenLabs Scribe v2 0,20 $ par heure en direct (0,48 $ via fal) ; Gemini 3.5 Transcribe environ 0,30 $ par heure selon l'estimation de Google.
Quel modèle de synthèse vocale a la latence la plus faible ?#
Lors de notre test de novembre 2026, ElevenLabs Flash v2.5 a envoyé son premier audio en 0,22 seconde à la médiane et en 0,28 seconde au 90e centile, soit environ deux fois plus vite que la voix la plus rapide hors ElevenLabs. Gemini 3.8 Flash Lite TTS de Google était la voix en streaming la moins chère, à environ 0,54 $ par heure d'audio, avec un premier audio en 0,47 seconde.
Pourquoi Deepgram et AssemblyAI sont-ils absents ?#
Nous ne testons qu'avec les clés d'API que Stork possède déjà, et nous n'en avions aucune pour Deepgram, AssemblyAI, Speechmatics, Soniox, Gladia, Cartesia ou Rime ce mois-ci. Ils figurent en tête de liste pour le prochain passage mensuel.
