Diese KI wechselt mitten im Satz die Sprache.

Fragen Sie einen intelligenten Lautsprecher auf Englisch nach etwas, dann wechseln Sie mitten im Satz ins Spanische. Die meisten Systeme frieren ein, transkribieren falsch oder reagieren mit etwas Unheimlichem in der falschen Sprache. Die heutigen mainstream Sprachassistenten laufen effektiv in einem-sprachigen Gleichschritt: eine Sprache pro Sitzung, ausgewählt in einem Einstellungsmenü oder fest codiert von einem Entwickler.

Menschen machen das Gegenteil. Zweisprachige Sprecher „wechseln ständig den Code“ – „Kannst du la cita für mañana buchen?“ – ohne darüber nachzudenken, welches Modell welche Sprache unterstützt. In Städten wie London, New York oder Mexiko-Stadt kann ein einzelnes Gespräch in weniger als 10 Sekunden zwischen Englisch, Polnisch und Französisch hin und her springen, und niemand füllt zuerst ein Formular aus, um seine Sprache zu erklären.

Voice AI lebt größtenteils in dem, was Hugo Pod als Tier 1 bezeichnet: Es kann mehrere Sprachen verarbeiten, aber nur, wenn man ihm im Voraus sagt, welche Sprache zu erwarten ist. Das funktioniert bei starren Anrufabläufen und IVR-Systemen, aber es bricht zusammen, sobald ein Anrufer auf Englisch fragt: „Sprechen Sie Spanisch?“ und dann tatsächlich ins Spanische wechselt. Der Agent antwortet entweder weiterhin auf Englisch oder, noch schlimmer, verunstaltet die Transkription und bringt das LLM aus dem Gleichgewicht.

Tier 2 ist das Upgrade: ein mehrsprachiger Agent, der Sprachen mitten im Satz erkennt und wechselt, ohne manuelle Umschaltungen, kein „drücken Sie 2 für Spanisch“, kein Neustart. Ein Benutzer kann auf Englisch beginnen, dann ins Polnische wechseln und anschließend einen französischen Ausdruck einfügen, und das System verfolgt alles in Echtzeit. Diese Art von Flexibilität verwandelt einen Sprachbot von einem Einstellungsmenü in ein Gespräch.

Der Aufbau eines Tier-2-Agenten erfordert drei Komponenten, die eng zusammenarbeiten: - Ein intelligentes Framework wie LiveKit, um Echtzeit-Audio und Agentenlogik zu orchestrieren - Ein leistungsstarker Gehirn (ein LLM), der in der Lage ist, natürlich in vielen Sprachen zu antworten - Ein hyperbewusster Auge (STT), der latenzarmen und hochgenauen Codewechsel durchführt

Die meisten LLMs und Text-zu-Sprache-Engines bearbeiten bereits mehrere Sprachen recht gut. Der wirkliche Engpass ist die Sprache-zu-Text-Technologie, die „Sprechen Sie Spanisch?“ hören und nahtlos folgen kann, wenn der Rest des Satzes auf Spanisch kommt - keine Neukonfiguration, kein harter Reset, sondern kontinuierliches, mehrsprachiges Verständnis.

Tier-1 mehrsprachige Agenten klingen auf dem Papier flexibel: ein System, viele Sprachen. In der Praxis funktionieren sie jedoch nur, wenn Sie die Sprache im Voraus festlegen, bevor jemand ein Wort sagt. Sie konfigurieren „Spanisch“, „Polnisch“ oder „Französisch“ als Sitzungsparameter, und das gesamte Gespräch bleibt dann auf dieser Wahl eingeschränkt.

Dieses Design zeigt sich überall, von IVR-Telefonmenüs bis hin zu Kundenservice-Bots. Man wählt aus einem Dropdown-Menü, drückt „2 für Español“ oder tippt auf ein Länderflaggen-Icon, und erst dann lädt die Spracherkennung die richtigen akustischen und sprachlichen Modelle. Ändert man seine Meinung während des Anrufs oder mischt eine andere Sprache ein, hört das System entweder falsch oder ignoriert den Wechsel.

Logistisch fühlt sich Tier 1 umständlich an. Formulare benötigen ein zusätzliches Feld für die „bevorzugte Sprache“, Anrufabläufe brauchen ein Menü und Terminals benötigen UI-Elemente, um überhaupt starten zu können. Jeder zusätzliche Schritt erhöht die Friktion und Abbrüche; viele Verbraucher-Apps verlieren Nutzer, wenn die Einarbeitung mehr als 10 bis 20 Sekunden in Anspruch nimmt.

Tier-2 mehrsprachige Agenten arbeiten anders. Sie hören zuerst zu und entscheiden spontan, welche Sprache – oder Sprachen – Sie verwenden, ohne vorherige Ankündigung. Ein Gespräch kann auf Englisch beginnen, dann für eine Frage ins Spanische springen und schließlich ins Polnische übergehen, während der Agent diese Übergänge in Echtzeit verfolgt.

Dieser Wandel macht Mehrsprachigkeit von einer einfachen Checkbox-Funktion zu tatsächlicher Gesprächsflüssigkeit. Ein Tier-2-System unterstützt das natürliche „Code-Switching“, bei dem ein Benutzer Sprachen innerhalb eines Satzes mischt, wie „Können Sie die factura an meine Arbeits-E-Mail senden?“ oder „Czy mówisz Spanish również?“ Der Agent muss bei jedem Wechsel transkribieren, schlüssig denken und angemessen reagieren.

Für globale Produkte ist Tier 2 der Goldstandard. Ein Agent kann Nutzer in Dutzenden von Märkten bedienen, ohne separate Telefonnummern, getrennte Bots oder komplizierte Sprachregeln. Unternehmen vermeiden es, parallele Abläufe für Englisch, Französisch und Polnisch aufrechtzuerhalten, und setzen stattdessen eine einzige logische Schicht ein, die sich an die Sprache des Nutzers anpasst.

Hugo Pods „Wie man einen mehrsprachigen Sprachagenten mit LiveKit und Gladia aufbaut“ zielt explizit auf dieses Tier-2-Modell ab. Mit Gladia für latenzfreies Code-Switching und LiveKit für Echtzeitaudio strebt sein Stack nach einer höheren Messlatte: einem Agenten, der sich weniger wie ein Formular und mehr wie eine Person verhält.

Code-Switching beschreibt, wie bilingual aufgewachsene Menschen mitten im Satz ohne nachzudenken die Sprache wechseln: „Oye, hast du den Bericht geschickt?“ oder „Ça marche, ich schreibe dir später.“ Psycholinguisten betrachten es als ein Merkmal, nicht als einen Fehler – Studien zeigen, dass Bilinguale basierend auf Thema, Emotion oder Gesprächspartner wechseln, oft mehrere Male pro Minute.

Für KI-Sprachagenten ist dieses Verhalten der heilige Gral. Ein spanischsprachiger Kunde könnte auf Englisch mit dem IVR-Menü beginnen, ins Spanische wechseln, um ein Abrechnungsproblem zu erklären, und dann für die Kartennummern wieder ins Englische zurückwechseln. Jedes System, das in der ersten Sprache einfriert, verliert Vertrauen, Zeit und oft auch den Benutzer.

Die realen Einsätze sind hoch. Globale Supportzentren in Mexiko-Stadt, Manila oder Warschau jonglieren routinemäßig Englisch plus 2–4 lokale Sprachen auf derselben Leitung. Internationale Verkaufsanrufe in den Bereichen Fintech, Reisen oder SaaS wechseln zwischen Englisch, Hindi und regionalen Dialekten. Öffentliche Dienste in Städten wie New York oder London müssen gemischte Gespräche in verschiedenen Sprachen in den Bereichen Gesundheitsversorgung, Wohnungswesen und Bildung bewältigen.

Technisch gesehen ist das brutal, da rohes Audio ohne sprachlichen Kontext mehrdeutig ist. Ein zwei Sekunden langer Clip könnte plausiblen Wörtern in Englisch, Polnisch oder Portugiesisch zugeordnet werden, die alle unterschiedliche Bedeutungen haben. Hintergrundgeräusche, Akzenten und Fachjargon verstärken die Verwirrung, sodass naive Modelle sich auf die falsche Sprache “festlegen” und sich nie erholen.

Alle drei Säulen—STT (Spracherkennung), LLM und TTS—müssen in der Sprachauswahl perfekt synchronisiert bleiben. LLMs bewältigen mehrsprachige Eingaben bereits gut, und moderne TTS-Engines wie 11 Labs können überzeugendes Polnisch oder Spanisch sprechen, sobald sie sauberen Text erhalten. Die Spracherkennung ist der eigentliche Bosskampf.

Multilinguale Spracherkennung muss Sprachgrenzen in Echtzeit erkennen, manchmal sogar bei einem einzelnen Wort, und die Latenz von etwa 300 ms für ein natürliches Gespräch unter Kontrolle halten. Sie muss spontan entscheiden: „War das ‘no’ auf Englisch oder ‘não’ auf Portugiesisch?“ und sofort zwischen Modellen oder Vokabeln wechseln. Tools wie Gladias Code-Switching-Modelle und -Rahmen, die in Voice AI quickstart | LiveKit-Dokumentation dokumentiert sind, entstehen, aber perfektes Code-Switching bleibt ein Problem an der Grenze der Technologie.

Moderne Code-Switching-Sprach-IA basiert auf vier Säulen: Echtzeit-Routing, Spracherkennung, Sprachverständnis und synthetische Sprache. Tauschen Sie eine davon gegen eine schwächere Komponente aus, und die gesamte Illusion eines flüssigen, bilingualen Gesprächs bricht sofort zusammen.

Im Zentrum steht LiveKit, das Echtzeit-Kommunikationsframework, das wie das Nervensystem des Agenten fungiert. Es verwaltet Audio-Streams mit niedriger Latenz, den Sitzungszustand und den Druckausgleich, sodass Audio-Pakete, Transkripte und Antworten in weniger als ein paar hundert Millisekunden ankommen, anstatt in Sekunden.

LiveKit verbindet drei spezialisierte Dienste, die jeweils einen anderen Teil des Stacks besitzen: - Gladia für Sprach-zu-Text - OpenAI GPT-4.1 für Sprachverständnis - 11Labs für Text-zu-Sprache

Gladia fungiert als die Ohren des Agenten und transkribiert fortlaufend rohe Audiodaten in Text, während der Benutzer noch spricht. Ihr mehrsprachiges Modell, wie die Variante SEA SALARIA 1, unterstützt den Code-Switching über Dutzende von Sprachen und erkennt, wenn ein Satz von Englisch zu Spanisch zu Polnisch wechselt, ohne die Sitzung zurückzusetzen.

Diese Fähigkeit zum Code-Switching ist wichtig, da die Spracherkennung die empfindlichste Stelle in dieser Kette ist. Wenn Gladia Spanisch fälschlicherweise als akzentuiertes Englisch kennzeichnet, sieht GPT-4.1 die richtigen Wörter niemals und das gesamte „mehrsprachige“ Erlebnis zerfällt in Unsinn oder unbeholfene Klarstellungsfragen.

Sobald Gladia Text ausgibt, übernimmt OpenAI GPT-4.1 als das Gehirn. Das LLM verfolgt die Konversationshistorie, die Benutzerabsicht und Sprachwechsel und entscheidet dann nicht nur, was gesagt werden soll, sondern auch in welcher Sprache. Das Auffordern kann GPT-4.1 dazu bringen, automatisch die Sprache des Nutzers zu spiegeln oder zu wechseln, wenn dies ausdrücklich verlangt wird („¿Puedes hablar polaco?“).

11Labs schließt den Kreis als die Stimme. Füttern Sie es mit polnischen, französischen oder englischen Tokens, und es gibt natürlich klingende Audio in derselben Sprache zurück, wobei dieselbe synthetische Stimme verwendet wird, sodass der Agent wie eine konsistente Persona wirkt und nicht wie ein Flickwerk aus verschiedenen Systemen.

Gemeinsam bilden LiveKit, Gladia, GPT-4.1 und 11Labs einen engen Echtzeitschaltkreis. Audio strömt hinein, sprachbewusster Text fließt durch und korrekt lokalisierte Sprache kommt heraus – schnell genug, dass Code-Switching sich wie eine alltägliche Handlung anfühlt, nicht wie das Wechseln von Anwendungen.

Sprach-zu-Text entscheidet leise darüber, ob ein mehrsprachiger Sprachagent funktioniert oder auseinanderfällt. Für Systeme der Stufe 2, die einen Anrufer in einem einzigen Satz von Englisch nach Spanisch und dann nach Polnisch verfolgen müssen, ist STT ohne Zweifel der schwierigste Teil des Systems. LLMs und TTS können bereits Dutzende von Sprachen aus reinem Text jonglieren; STT muss dies jedoch in Echtzeit aus lauten, überlappenden, stark akzentuierten Audioquellen tun.

Gladia’s sea-salaria-v1 Modell befindet sich an diesem kritischen Punkt. Es unterstützt über 40 Sprachen standardmäßig, mit nativem Code-Switching, sodass eine Phrase wie „Kannst du mi mamá in Madrid anrufen?“ es nicht in eine verunstaltete Sprache verwirrt. Stattdessen segmentiert und transkribiert es Englisch und Spanisch sauber, so wie sie tatsächlich im Wellenform erscheinen.

Regionale Routing ist der Bereich, in dem sea-salaria-v1 für Live-Produkte anstelle von nur Demos attraktiv wird. Gladia ermöglicht es Ihnen, die Verarbeitung auf spezifische Regionen, wie zum Beispiel EU West, festzulegen. Wenn sich Ihre Nutzer in London oder Paris befinden, vermeiden Sie die Verzögerung von 100–200 ms durch transatlantische Sprünge. Für einen Sprachagenten reduziert das Eliminieren dieser Latenz die Hin- und Her-Antworten unter die ~300 ms-Schwelle, bei der die „KI-Pause“ offensichtlich wird.

Ohne eine STT-Engine, die Sprachwechsel direkt aus Audio erkennen kann, hat nichts anderes in der Pipeline jemals die Chance, intelligent zu sein. Das LLM sieht nur die Texttranskription, die es erhält; wenn die STT Polnisch fälschlicherweise als Englisch kennzeichnet und unsinnige Token ausgibt, wird selbst das beste Modell selbstbewusst in der falschen Sprache antworten. TTS spricht dann diesen Fehler fröhlich an den Benutzer zurück und besiegelt damit das Versagen.

Die Unterstützung für Code-Switching auf der STT-Ebene verhindert auch empfindliche Vorab-Routing-Hacks. Sie müssen nicht mehr die Sprache eines Anrufers anhand seiner Telefonnummer, einer Menüauswahl oder des ersten Satzes raten. Sea-salaria-v1 kann ab der ersten Sekunde zuhören, erkennen, dass der Benutzer gerade von englischen Anweisungen zu schnellem Französisch gewechselt hat, und die Schriftarten und Sprachmodelle sofort anpassen.

Deepgram und andere STT-Anbieter werben mit mehrsprachigen und sogar Code-Switching-Funktionen, die für viele Anwendungsfälle funktionieren. Bei diesem speziellen Tier-2-Agenten hat Gladia jedoch in Bezug auf die reine Transkriptionsgenauigkeit bei gemischtem Audio überzeugt, insbesondere bei schnellen Wechseln und weniger gängigen Kombinationen wie Englisch-Polnisch. Wenn Ihr gesamtes Erlebnis davon abhängt, diese Grenzfälle präzise zu erfassen, ist diese Genauigkeitslücke entscheidend.

LiveKit fungiert nicht mehr nur als WebRTC-Router; es verhält sich jetzt wie eine Agenten-Laufzeitumgebung, die die gesamte Anrufschleife kontrolliert. Anstatt STT, LLM und TTS manuell miteinander zu verbinden, definieren Sie einen Agenten, der auf Ereignisse reagiert – Audioframes, Nachrichten, Zeitüberschreitungen – und LiveKit orchestriert den Rest in Echtzeit.

Im Mittelpunkt steht das LiveKit Agent Framework, das Ihre Python- (oder Node-) Logik nahe am Medien-Pipeline ausführt. Diese Nähe ist von Bedeutung: Weniger Sprünge zwischen Medien, Inferenz und Geschäftslogik führen zu einer geringeren End-to-End-Latenz, was für einen Code-Switching-Sprachagenten von entscheidender Bedeutung ist.

LiveKit Inference fügt sich direkt in diesen Ablauf als eine verwaltete LLM- und TTS-Schicht ein. Sie weisen Ihren Agenten auf Modelle hin – OpenAI, lokal oder bei Anbietern gehostet – und LiveKit kümmert sich um das Streaming von Tokens nach außen und Audio zurück, ohne dass Sie drei verschiedene SDKs jonglieren müssen.

Die Verwendung von LiveKit Inference umgeht auch eine Menge betrieblicher Kopfschmerzen. Sie vermeiden vendor-spezifische Ratebegrenzungen bei LLM- und TTS-Anrufen, konsolidieren die Nutzung in einer Rechnung und erzielen oft eine geringere Latenz, da LiveKit über Unternehmenslinks anstatt über öffentliche API-Gateways mit Anbietern kommuniziert.

Die Konsolidierung der Abrechnung ist nicht nur eine Frage der Bequemlichkeit; sie verändert, wie Sie aufbauen. Anstatt für jeden Anbieter benutzerdefinierte Drosselungs- und Fallback-Logik zu entwickeln, betrachten Sie die Inferenz als einen einzelnen Ressourcenpool mit vorhersehbaren Kontingenten und Überwachung.

Die Struktur von LiveKit macht den Austausch von Komponenten nahezu mechanisch. In der agent.py von Hugo Pod wird Gladia als STT-Anbieter über einen einfachen Konfigurationsblock integriert: Modellname (sea salaria 1), Region (EU West) und eine Liste unterstützter Sprachen.

Dieses Design ermöglicht es Ihnen, aggressiv zu experimentieren. Möchten Sie zwei TTS-Stimmen oder zwei LLM-Entering testen? Sie ändern ein paar Zeilen in der Agenten-Definition; LiveKit kümmert sich weiterhin um den Sitzungsstatus, die Medienweiterleitung und die Wiederverbindungslogik.

Für Teams, die von raw WebRTC oder DIY gRPC-Diensten kommen, ist dies ein anderer Abstraktionsgrad. Sie hören auf, in Sockets und Codecs zu denken, und beginnen, in „Agentensitzungen“ und „Jobs“ zu denken, die horizontal skaliert werden können.

Die Dokumentation von LiveKit orientiert sich an diesem Modell; Voice-Agenten erstellen | LiveKit-Dokumentation erklärt Muster wie Hintergrundjobs, Multi-Agenten-Routing und benutzerdefinierte Tools, die Sie in multilingualen Projekten wiederverwenden können.

Moderne LLMs kommen kaum ins Schwitzen, wenn man sie darum bittet, mit Sprachen zu jonglieren. Modelle der Klasse GPT-4 trainieren mit Billionen von Tokens, die aus dem mehrsprachigen Web, Büchern, Foren und Code-Repositories gesammelt wurden, und decken alles von Englisch und Spanisch bis hin zu Polnisch und Nischendialekten ab. Wenn man auffordert: „Beantworte auf Französisch und fasse dann auf Englisch zusammen“, tun sie das einfach, Token für Token.

Dieses mehrsprachige Verhalten ist kein zusätzliches Feature; es ergibt sich aus der Art und Weise, wie diese Modelle lernen. Während des Trainings sehen sie parallele Konzepte, die in verschiedenen Sprachen ausgedrückt werden, und optimieren einen riesigen gemeinsamen Embedding-Raum. Wenn ein Benutzer also mitten im Satz von „Kannst du einen Flug buchen?“ zu „para mañana a Madrid“ wechselt, fährt das Modell einfach fort, das wahrscheinlichste nächste Token, diesmal auf Spanisch, vorherzusagen.

Das Anstoßen gibt Ihnen präzise Kontrolle. Sie können dem LLM sagen: „Immer in der Sprache des Anrufers antworten“ oder „Sprechen Sie Englisch, aber spiegeln Sie alle zitierten Fremdsprachen.“ Mit einer einzigen Systemnachricht kann dasselbe GPT-4-Modell den Kundensupport auf Deutsch, die technische Einweisung auf Portugiesisch und Folgefragen auf Englisch in einer durchgehenden Sitzung bearbeiten.

Auf der Ausgabeseite sind TTS-Systeme wie 11Labs noch einfacher. Sie müssen nicht erraten, welche Sprache Sie gemeint haben; sie synthetisieren einfach die Sprache, die der Text bereits verwendet. Geben Sie ihnen polnischen Text, erhalten Sie polnische Audiodateien; ersetzen Sie ihn durch Französisch, bekommen Sie Französisch, oft mit einem konsistenten Stimmklang über die Sprachen hinweg.

Mehrsprachige TTS hängt hauptsächlich von zwei Faktoren ab: Sprachabdeckung und Sprachqualität. Wenn ein Anbieter beispielsweise 28 Sprachen und sprachübergreifende Stimmen unterstützt, kann Ihre App dieselbe „Agenten-Persona“ beibehalten, während sie in Echtzeit von Englisch zu Spanisch zu Polnisch wechselt. Keine Neukonfiguration, keine separate Stimme pro Sprache.

All diese Eleganz bricht zusammen, wenn die Worte, die in das LLM eingehen, falsch sind. Die wahre Magie – und das wahre Risiko – liegt upstream in STT, wo Modelle wie Gladia Sprachwechsel erkennen, sie korrekt segmentieren und dem LLM saubere, code-switched Transkripte übergeben müssen.

Agent.py fungiert als Schaltplan für dieses mehrsprachige Setup, und fast die gesamte Magie stammt aus der Konfiguration, nicht aus benutzerdefinierten Algorithmen. Hugo definiert einen einzelnen `Agent`, der GladiaSpeechToText, die Inferenzdienste von LiveKit und einige Gesprächskontrollen in eine Echtzeitschleife integriert.

Die Spracherkennung wird am detailliertesten abgestimmt. Der Block `GladiaSpeechToText` legt drei kritische Parameter fest: `model="sea-salaria-1"`, `region="eu-west"` und ein `languages`-Array. Das Modell `sea-salaria-1` ist Gladias Arbeitstier für Code-Switching und wurde entwickelt, um mitten in einem Satz zwischen Englisch, Spanisch, Polnisch und mehr zu wechseln.

Die Auswahl der Region ist wichtig für die Latenz. Indem Hugo `region="eu-west"` von London festlegt, hält er die Rundlaufzeiten niedrig, anstatt Audio über den Atlantik zu einem standardmäßigen US-Endpunkt zu leiten. Viele STT-Anbieter verbergen die Regionsrouting; Gladia legt es direkt offen, was selten und äußerst nützlich für Echtzeit-Sprachanwendungen ist.

Der `languages`-Parameter ist der Übergang zwischen Tier 1 und Tier 2. Anstatt dem Modell zu sagen „Dieser Anruf ist auf Französisch“, übergibt Hugo eine Liste von erlaubten Optionen, zum Beispiel: - `"en"` - `"fr"` - `"es"` - `"pl"` Gladia erkennt dann automatisch, welche Sprache in einem bestimmten Moment gesprochen wird, und wechselt die Transkriptionsregeln dynamisch.

Die Seite von LiveKit wirkt im Vergleich fast langweilig, was genau der Punkt ist. Für die LLM-Inference verbindet Hugo einen `LiveKitInference`-Client mit einem Modell wie „gpt-4o-realtime-preview“, plus einer kurzen Systemaufforderung: „Du bist ein hilfreicher Sprachassistent.“ Keine zusätzlichen mehrsprachigen Flaggen, keine Routing-Logik, nur ein Modell, das bereits Dutzende von Sprachen versteht.

Text-to-Speech verwendet dasselbe Muster: Ein `LiveKitInference` TTS-Client, der auf ein Modell wie `"eleven_multilingual_v2"` mit einer gewählten Sprach-ID verweist. Solange die TTS-Engine die Zielsprache unterstützt, funktioniert es einfach, polnischen oder spanischen Text zu füttern, sodass der Code nahezu nur konfigurationsbasiert bleibt.

Das Wechseln der Sprechenden ist der Punkt, an dem kleine Konfigurationsänderungen die Benutzererfahrung dramatisch beeinflussen. Hugo ändert das `turn_detection`-Modell von LiveKit von `"english"` auf `"multilingual"`, sodass der Agent Pausen und das Ende von Äußerungen korrekt in nicht-englischen Sprachen und gemischten Sprachsätzen erkennt.

Schließlich deaktiviert `preemptive_generation=False` die Angewohnheit des Agenten, den Nutzern ins Wort zu fallen. Viele Echtzeitsysteme beginnen zu sprechen, sobald sie “denken”, dass Sie fertig sind; das stört den Code-Switching, wenn Nutzer einen Satzteil in einer anderen Sprache hinzufügen. Indem man den Agenten zwingt, auf eine klare Gesprächswende zu warten, bleiben die Unterhaltungen natürlich und es werden Unterbrechungen mitten im Satz verhindert.

Der Moment des Code-Switching in der Demo beginnt ganz harmlos. Der Nutzer spricht auf Englisch und unterhält sich mit dem Agenten, als wäre es ein normales Tier-1-System. Dann kommt die Wendung, die die meisten Produktions-Voicebots überfordern würde: „Ich wollte nur wissen, ob Sie Polnisch sprechen können.“

Anstatt auf Englisch zu antworten oder einzufrieren, wechselt der Agent sofort. Er antwortet fließend und natürlich klingend auf Polnisch, mit korrekter Phonetik und Prosodie aus dem TTS-Stack, was signalisiert, dass das LLM, der Prompt und die Stimmeinstellungen alle den Sprachwechsel ohne Zurücksetzung akzeptiert haben. Kein manueller Sprachenwechsel, keine Reinitialisierung, keine Verzögerung mit „Sprache wechseln, bitte warten“.

Wichtig ist, was als Nächstes passiert. Der Nutzer führt die Unterhaltung auf Polnisch fort und geht in einen vollständigen Austausch, der ausschließlich in dieser Sprache bleibt. Der Agent versteht nachfolgende polnische Phrasen, behält den Kontext und gibt kohärente, themenbezogene polnische Antworten zurück – genau das Verhalten der Tier 2, das mehrsprachige Produkte versprechen, aber selten liefern.

Hinter den Kulissen hängt diese Leistung von STT ab. Gladias Modell erhält Audiodaten, die in Englisch beginnen und dann mitten im Gespräch ins Polnische wechseln, und erzeugt dennoch präzise Transkripte mit geringer Latenz. Diese Transkriptionsqualität ermöglicht es dem LLM, einen einheitlichen Gesprächszustand aufrechtzuerhalten, anstatt separate Threads für "Englisch-Modus" und "Polnisch-Modus" zu erstellen.

Protokolle des Laufs zeigen eine interessante Wendung: `Kurven-Detektor unterstützt die Sprache Polnisch nicht`. Die Kurven-Erkennung entscheidet, wann ein Benutzer mit Sprechen fertig ist, daher bedeutet diese Warnung, dass eine sekundäre Komponente nur weiß, wie man bestimmte Sprachen segmentiert. Dennoch zeigt das System nie sichtbare Störungen, da die zentrale STT-Pipeline weiterhin Polnisch zuverlässig erkennt und transkribiert.

Dies ist ein subtiler, aber wichtiger architektonischer Punkt. Sie können nicht kritische Komponenten – wie einen sprachlich limitierten Wendepunkt-Detektor – Warnungen ausgeben lassen, während die Haupt-**Gladia** Transkriptionsengine reibungslos in mehreren Sprachen arbeitet. In echten Einsätzen bedeutet diese Trennung der Anliegen, dass Sie an zusätzlichen Modulen iterieren können, ohne das mehrsprachige Gehirn, das das Erlebnis tatsächlich antreibt, zu gefährden.

Polyglot-Agenten sind kein Forschungs-Spielzeug mehr, sobald Sie ein hochmodernes Framework wie LiveKit mit einer speziell entwickelten STT-Engine wie Gladia verbinden. LiveKit kümmert sich um die komplexen Echtzeit-Anforderungen - WebRTC, Sitzungen, Lebenszyklus der Agenten - während Gladias latenzarmes, code-switching Modell (wie seine sea-salaria-1 Variante) die eine Aufgabe übernimmt, bei der generische Modelle noch stolpern: das Erkennen und Transkribieren mehrerer Sprachen im gleichen Atemzug. Diese Kombination hebt einen einfachen Sprachbot zu einem Tier-2-Agenten auf, der menschliche Gespräche verfolgt, anstatt Menschen dazu zu zwingen, die Systemeinstellungen zu überwachen.

Gestapelt bieten diese Elemente Produkte, die tatsächlich im globalen Maßstab funktionieren. Eine einzige Support-Hotline kann Kunden aus Mexiko-Stadt, Warschau und Paris in denselben mehrsprachigen Sprachagenten leiten, der sie begleitet, während sie zwischen Englisch für Produktnamen und ihrer Muttersprache für alles andere wechseln. Keine IVR-Bäume, kein „Drücken Sie 3 für Spanisch“, nur ein Endpunkt, der sich in Echtzeit anpasst.

Meetings verändern sich auch. Stellen Sie sich einen Zoom- oder Meet-Begleiter vor, der einem 10-Personen-Call lauscht, bei dem die Teilnehmer zwischen Englisch, Deutsch und Polnisch wechseln, und dennoch Folgendes produziert: - Live-Untertitel in der bevorzugten Sprache jedes Teilnehmers - Durchsuchbare Transkripte, die nach Sprecher und Sprache gekennzeichnet sind - Zusammenfassungen, die festhalten, wann und warum Code-Switching stattgefunden hat.

Verbraucherassistenten profitieren ebenso. Eine zweisprachige Familie kann mit einem Gerät im Haus auf Englisch sprechen, mitten im Satz auf Französisch wechseln, um einen Großelternteil anzusprechen, und dann ohne Neuauslösung oder Änderung der App-Einstellungen wieder zurückschalten. Die Barrierefreiheit steigt, wenn Nutzer mit begrenzten Kenntnissen einer „Standard“-Sprache nicht mehr darauf angewiesen sind, daran festzuhalten, um verstanden zu werden.

Barrieren, die einst ein Forschungslabor erforderten – schnelles ASR, robustes Code-Switching, latenzfreies Streaming – passen nun in ein Wochenendprojekt. LiveKit abstrahiert den Echtzeit-Stack; Gladia kümmert sich um mehrsprachige STT; gängige LLMs und TTS sprechen bereits ab Werk Dutzende von Sprachen. Der schwierige Teil ist nicht mehr „Kann das gebaut werden?“, sondern „Was soll dieser Agent eigentlich tun?“

Das kannst du selbst beantworten. Schau dir das GitHub-Repository "How to Build a Multilingual Voice Agent with LiveKit & Gladia" an, füge deine eigenen Eingaben und Stimmen hinzu und beginne, Agenten zu erstellen, die mit den Nutzern so sprechen, wie sie bereits miteinander sprechen.

Was ist KI-Code-Switching?

Code-Switching ist die Fähigkeit eines KI-Sprachassistenten, innerhalb desselben Gesprächs zwischen mehreren Sprachen zu erkennen und zu wechseln, ähnlich wie es ein zweisprachiger Mensch tun würde. Dies erfordert fortschrittliche Spracherkennungstechnologie.

Warum wird Gladia für mehrsprachige Sprachassistenten empfohlen?

Gladias Sprach-zu-Text-Funktion zeichnet sich durch ihre hohe Genauigkeit in vielen Sprachen, geringe Latenz und spezifische Unterstützung für Code-Switching aus, was die wichtigste Funktion für diesen Agenten ist.

Welche Rolle spielt LiveKit in diesem Projekt?

LiveKit fungiert als das zugrunde liegende Framework für den Sprachagenten, verwaltet die Echtkommunikation (WebRTC) und bietet ein Entwicklungs-Kit für Agenten. Die Inferenzfunktion vereinfacht zudem die Nutzung von Modellen wie GPT-4 und 11Labs, indem sie API-Aufrufe über Proxy verarbeitet.

Kann ich mit diesem LiveKit-Setup ein anderes LLM oder TTS verwenden?

Ja. Das Framework von LiveKit ist flexibel. Während das Tutorial OpenAIs GPT-4 und 11Labs über LiveKit Inference verwendet, können Sie auch andere Sprachmodelle und Text-to-Speech-Dienste integrieren, die Ihren Anforderungen entsprechen.