Speech-to-Text bei Telefonaudio: 10 Modelle im Test zu Namen, Zahlen und Latenz (Nov. 2026)

Ergebnisse auf einer Telefonleitung#

Unsere Ergebnisse#

1. Die Top fünf liegen bei der Genauigkeit statistisch gleichauf#

Wortfehlerraten von 5,5 % bis 6,3 % bei sieben Modellen sehen wie ein Ranking aus, sind aber keines. Unser 95-%-Konfidenzintervall für gpt-transcribe reicht von 3,9 % bis 7,4 %, und jedes Modell bis hinunter zu Cohere Transcribe überschneidet sich damit. Bei 16,6 Minuten Audio ist ein Unterschied von einem Punkt Rauschen. Wenn Sie zwischen diesen Modellen wählen, entscheiden Sie nach Zuverlässigkeit, Latenz, Preis und Funktionen (Streaming, Keyword Boosting, Datenspeicherung), nicht nach einem halben Punkt WER.

2. Bei der Zuverlässigkeit unterscheiden sich die Modelle#

Jedes Modell transkribierte 60 Aufnahmen von etwa 50 Sekunden (20 Aufnahmen, drei Audiobedingungen). gpt-4o-transcribe lieferte bei 6 davon ein stark unvollständiges Transkript: Bei einer Aufnahme mit 8 Anruferbeiträgen gab es nur „12:15 p.m." zurück, bei einer mit 17 Beiträgen nur „The amount of the bill is $61." whisper-1 und Gemini 3.5 Flash-Lite taten dies jeweils 3-mal. Gemini 3.8 Flash stellte seinem Transkript einmal eine erfundene Überschrift voran und wiederholte Text, und Scribe v2 gab bei einer verrauschten Aufnahme einmal eine kurze Zeichenfolge ohne Sinn zurück. gpt-transcribe, gpt-4o-mini-transcribe, Gemini 3.5 Transcribe und Cohere Transcribe lieferten keine fehlerhaften Transkripte.

Unsere Aufnahmen verbinden kurze, voneinander unabhängige Beiträge mit einer Sekunde Pause, was härter ist als ein durchgehender Anruf; diese Zahlen sind daher als Stresstest zu verstehen. Ein Telefon-Agent kann sich aber kein Transkript leisten, das stillschweigend den Großteil dessen auslässt, was der Anrufer gesagt hat, und eine durchschnittliche WER verdeckt genau das.

3. Namen, Ziffern und Adressen#

Namen waren für alle Modelle die schwierigste Kategorie: ungewöhnliche Nachnamen aus dem Datensatz des Europäischen Parlaments (Siwiec, Mates, Machiavelli) und gängige Anrufernamen, die auf einer Telefonleitung falsch verstanden wurden („James" als „Jane"). Gesprochene Ziffernfolgen, das, was Telefon-Agenten am meisten brauchen, waren bei den meisten Modellen nahezu perfekt, wenn man die Formatierung ignoriert. In der Praxis spielt diese Formatierung aber eine Rolle: Whisper large-v3 schrieb Uhrzeiten als „1.45 pm", wo die meisten Modelle „1:45 PM" schrieben, und die Modelle unterscheiden sich bei Bindestrichen und Leerzeichen in Telefonnummern. Der Parser Ihres Agenten muss alle Varianten akzeptieren.

4. Antwortzeit#

Bei 12 kurzen Anruferbeiträgen (durchschnittlich 2,8 Sekunden Sprache), die einzeln als fertige Datei gesendet wurden, antworteten die drei neueren Modelle von OpenAI am schnellsten: gpt-transcribe mit 0,61 s im Median und 0,69 s beim 90. Perzentil. Die Gemini-Modelle benötigten im Median 1,2 bis 2,0 s. Die über fal gehosteten Modelle enthalten fals eigenes Routing. Bei Wizper dauerten die ersten fünf Anfragen 5 bis 30 Sekunden und die nächsten sieben jeweils etwa 2,5 s, was danach aussieht, als würde fal Kapazität hochfahren; wir berichten es so, wie es gemessen wurde. Nichts davon ist Streaming-Latenz. Ein Telefon-Agent in der Produktion streamt Audio und erhält Teilwörter zurück, während der Anrufer noch spricht, was diese Batch-Endpunkte nicht tun; Streaming-Modelle testen wir, sobald wir Schlüssel dafür haben.

Text-to-Speech: Zeit bis zum ersten Audio#

Ein Telefon-Agent kann erst sprechen, wenn das Sprachmodell sein erstes Audio sendet. Die Zeit bis zum ersten Audio (TTFA) ist daher die Kennzahl, die für die Antwortverzögerung zählt. Wir haben dieselben drei Empfangssätze gesendet („Thanks for calling Riverside Dental, this is Ava. How can I help you today?", ein Terminangebot mit Datum und Uhrzeit und eine Bestätigung mit der Endung einer Telefonnummer), einen Satz pro Anfrage, 21 Anfragen pro Modell, im Round-Robin-Verfahren über die Modelle hinweg und über eine warme Verbindung aus Kalifornien.

ElevenLabs Flash v2.5 war der klare Latenzführer: erstes Audio nach 0,22 s im Median und unter 0,3 s beim 90. Perzentil, etwa doppelt so schnell wie die schnellste Stimme eines anderen Anbieters als ElevenLabs (Gemini 3.8 Flash Lite TTS mit 0,47 s). Es ist zugleich die teuerste Streaming-Stimme hier, mit etwa $2,37 pro Stunde Audio zum Listenpreis, drei- bis viermal so viel wie bei Google und OpenAI. Das neuere v4 Turbo von ElevenLabs startete fast ebenso schnell (0,29 s), brauchte aber länger, um jeden Satz fertigzustellen. Googles Gemini 3.8 Flash Lite TTS war die günstigste Streaming-Option mit etwa $0,54 pro Stunde und einem stabilen ersten Audio nach 0,47 s. OpenAIs älteres tts-1 startete mit 1,2 s am langsamsten; das neuere gpt-4o-mini-tts startete nach 0,64 s.

Die drei Modelle, die wir nur über fal.ai erreicht haben (Inworld TTS-1.5 Max, MiniMax und xAI), liefern eine fertige Datei und keinen Stream. Deshalb können wir nur die Zeit bis zur gesamten Datei angeben: 3 bis 5 Sekunden im Median, einschließlich fals Warteschlange. Das sagt nichts über ihre Streaming-Latenz bei ihren eigenen APIs aus, die wir nicht getestet haben. Inworld war die günstigste Stimme, die wir gemessen haben, mit etwa $0,45 pro Stunde über fal. Die Sprachqualität haben wir in diesem Test nicht beurteilt.

So haben wir getestet#

• Audio, echte Menschen: 105 Anruferbeiträge aus dem Korpus Harper Valley Bank (Gridspace und Stanford, CC BY 4.0, wie in SLUE phase 2 paketiert): Personen, die Anrufe bei einer Bank nachspielen und dabei ihre Namen, Telefon- und Kontonummern, Postleitzahlen, Straßenadressen, Beträge und Termine nennen. Dazu 50 Äußerungen aus dem SLUE-VoxPopuli-Datensatz mit benannten Entitäten (Reden im Europäischen Parlament, Audio CC0, Labels CC BY 4.0) für akzentuierte Sprache mit ausgezeichneten Personen, Orten, Organisationen, Daten und Zahlen. 155 Äußerungen, 16,6 Minuten, ausgewählt mit einem festen Zufallsstartwert.
• Drei Bedingungen: das originale 16-kHz-Audio; eine Telefonleitung (Bandpass 300 bis 3.400 Hz, 8 kHz, G.711 mu-law, der Codec der meisten US-Telefonanrufe); und die Telefonleitung mit rosa Hintergrundrauschen bei 15 dB Signal-Rausch-Verhältnis. Dies simuliert eine Telefonleitung per Software. Es ist kein echter Carrier-Pfad, der Paketverluste und Echo hinzufügen kann.
• Anfragen: Die Äußerungen wurden zu 20 Aufnahmen von etwa 50 Sekunden mit einer Sekunde Pause verbunden, eine Anfrage pro Aufnahme und Modell (600 Anfragen für die Genauigkeit). Englisch wurde gesetzt, wo die API es erlaubt. Keine Prompts, Schlüsselwortlisten oder benutzerdefinierten Vokabulare. Die Gemini-Flash-Modelle erhielten eine einzeilige Anweisung „transcribe verbatim"; Gemini 3.5 Transcribe nimmt keinen Prompt entgegen.
• Bewertung: Der Whisper English text normaliser von OpenAI auf beiden Seiten, plus vier Korrekturen, damit Formatierung nie als Fehler zählt: Klammern bleiben erhalten, führende Nullen bleiben erhalten, „1.45 pm" wird als 1:45 pm gelesen, und jede Ziffer zählt als eigenes Wort (eine falsche Ziffer in einer Telefonnummer ist also ein Fehler, und „332-910-9693" entspricht „three three two nine one zero nine six nine three"). Die Wortfehlerrate ist die Gesamtzahl der Fehler geteilt durch die Gesamtzahl der Referenzwörter, mit einem Bootstrap-95-%-Intervall über die Aufnahmen. Eine Entität gilt nur dann als richtig, wenn sie exakt in den Wörtern erscheint, die ihrer eigenen Äußerung zugeordnet sind. 14 Entitäten, die kein Modell in irgendeiner Bedingung richtig erkannte, wurden als Referenzfehler entfernt (meist Namen, deren Akzente in der Referenz entfernt wurden, etwa „Pöttering", geschrieben als „pttering").
• Antwortzeit: 12 Anruferbeiträge auf der Telefonleitung, einzeln gesendet, Echtzeit vom Senden der Anfrage bis zum Empfang des vollständigen Transkripts, von einem Computer an einer Heimverbindung in Kalifornien. Die Upload-Zeit ist enthalten. Ihre Werte werden je nach Standort abweichen; vergleichen Sie Modelle innerhalb dieser Tabelle, nicht mit Zahlen von anderswo.
• Gehostete Modelle: ElevenLabs Scribe v2, Cohere Transcribe und Whisper large-v3 wurden über fal.ai aufgerufen, weil unserem ElevenLabs-Schlüssel die Berechtigung für Speech-to-Text fehlt und wir keinen Cohere-Schlüssel haben. fal fügt eigene Routing-Zeit hinzu und berechnet eigene Preise ($0,008 pro Minute für Scribe v2 gegenüber $0,20 pro Stunde direkt bei ElevenLabs).
• Preise: Listenpreise von der jeweiligen Seite des Anbieters am 11. November 2026: OpenAI, ElevenLabs, Google, Cohere und die Modellseiten von fal. Gemini 3.8 Flash und Flash-Lite werden nach Token abgerechnet; wir haben ihre Stundenkosten aus 25 Audio-Token pro Sekunde plus dem zurückgegebenen Text geschätzt. Laut Googles Seite verdoppeln sich die Preise von Gemini 3.8 Flash am 1. Januar 2027. fal zeigt für Wizper keinen brauchbaren Preis pro Minute an. Cohere verkauft Transcribe für die Produktion über dedizierte Instanzen „from $3.75 / hour / instance", nicht pro Minute.
• Sprachmodelle: ein Satz pro Anfrage, 7 Runden mit den 3 Sätzen (21 Anfragen pro Modell), Modelle abwechselnd, sodass ein Netzwerkaussetzer alle trifft. Zuvor eine nicht bewertete Aufwärm-Anfrage pro Anbieter, damit der Verbindungsaufbau nicht mitzählt. Erstes Audio = vom Senden der Anfrage bis zum Empfang der ersten nicht leeren Audiobytes. ElevenLabs nutzte seine vorgefertigte Stimme „Adam", OpenAI „alloy", Google „Kore" und fal die Standardstimmen.
• Kosten dieses Tests: etwa $3,30 an API-Aufrufen zu Listenpreisen (unsere protokollierten Schätzungen pro Aufruf), plus etwa 600 ElevenLabs-Plan-Credits. Das Testgerüst, der Testset-Builder und der Scorer befinden sich im Stork-Repository unter scripts/bench, und die Roh-Transkripte werden aufbewahrt, sodass jede Zahl hier überprüft werden kann.

Was dieser Test nicht aussagt#

• Streaming-Genauigkeit und -Latenz. Jedes Modell hier wurde mit einer fertigen Datei aufgerufen. Telefon-Agenten verwenden Streaming-Erkennung mit Erkennung des Gesprächsendes, was ein anderer und meist weniger genauer Modus ist.
• Modelle, die wir nicht erreichen konnten. In dieser Runde nicht getestet: Deepgram (Nova-3, Flux), AssemblyAI (Universal), Speechmatics, Soniox, Gladia, Cartesia Ink, Rime, Azure, Amazon Transcribe, Google Cloud Chirp, ElevenLabs Scribe v3 direkt und von Groq gehostetes Whisper. Ein fehlendes Modell ist kein schlechteres Modell.
• Echte Anrufer auf echten Leitungen. Die Anrufer von Harper Valley sind echte Menschen, spielen aber eine Rolle, wurden über eine Web-App aufgenommen, und unsere Telefonleitung ist simuliert. Akzente, Freisprecheinrichtungen und günstige Bluetooth-Headsets werden schwieriger sein.
• Stichprobengröße. 245 bewertete Entitäten und 16,6 Minuten pro Bedingung genügen, um gute von schwachen Modellen zu trennen, nicht aber, um die Top fünf zu ordnen. Einige Entitätsklassen haben 15 oder 16 Elemente.
• Ein Durchlauf. Die Zahlen zu fehlerhaften Transkripten stammen aus einem einzigen Durchgang. Einige lassen sich möglicherweise nicht reproduzieren; ob sie sich wiederholen, berichten wir nächsten Monat.

Als Nächstes: ein vollständiger Test von Telefon-Agenten#

Kennzahlen einzelner Komponenten sagen nicht aus, was ein Anrufer tatsächlich hört. In unserem nächsten Test bauen wir dieselbe Rezeptionistin auf Vapi, Retell, ElevenLabs Agents, Telnyx, Bland und einem selbst gehosteten LiveKit- oder Pipecat-Stack auf, rufen jede Variante über das echte Telefonnetz von einer echten Nummer aus an und messen Annahmezeit, Antwortverzögerung, Unterbrechungen, ob der Agent Name, Nummer und Adresse des Anrufers korrekt notiert hat, sowie die tatsächlichen Kosten pro Minute. Wenn Sie eine dieser Plattformen betreiben und einbezogen werden möchten, ändert sich nichts: Wir bezahlen unsere eigenen Konten und nehmen keine Platzierungsgebühren an.