Este IA Troca de Idiomas no Meio da Frase

Faça uma pergunta a qualquer alto-falante inteligente em inglês e, em seguida, mude para o espanhol no meio da frase. A maioria dos sistemas congela, faz transcrições erradas ou responde com algo estranho no idioma errado. Os assistentes de voz convencionais hoje funcionam efetivamente em sistema de bloqueio de um único idioma: um idioma por sessão, escolhido em um menu de configurações ou codificado por um desenvolvedor.

Os humanos fazem o oposto. Falantes bilíngues "alternam códigos" constantemente—"Você pode marcar la cita para amanhã?"—sem pensar sobre qual modelo suporta qual localidade. Em cidades como Londres, Nova York ou Cidade do México, uma única conversa pode alternar entre inglês, polonês e francês em menos de 10 segundos, e ninguém preenche um formulário primeiro para declarar seu idioma.

A IA de voz geralmente vive no que Hugo Pod chama de Nível 1: ela pode lidar com múltiplas línguas, mas apenas se você avisar antecipadamente qual esperar. Isso funciona para fluxos de chamada rígidos e IVRs, mas se quebra no momento em que um chamador pergunta em inglês: “Você fala espanhol?” e então realmente muda para o espanhol. O agente ou continua respondendo em inglês, ou pior, distorce a transcrição e desvia o LLM.

O Nível 2 é a atualização: um agente multilíngue que detecta e alterna idiomas no meio da frase, sem alternâncias manuais, sem "pressione 2 para Español", sem reinícios. Um usuário pode começar em inglês, mudar para polonês, e depois inserir uma frase em francês, e o sistema acompanha tudo isso em tempo real. Esse tipo de fluidez transforma um voicebot de um painel de configurações em uma conversa.

Construir esse agente de Nível 2 exige três componentes funcionando em harmonia: - Uma estrutura inteligente como o LiveKit para orquestrar áudio em tempo real e a lógica do agente - Um cérebro poderoso (um LLM) que pode responder naturalmente em muitos idiomas - Uma orelha hipersensível (STT) que realiza troca de código com baixa latência e alta precisão

A maioria dos LLMs e motores de conversão de texto em fala já lida com vários idiomas de forma razoável. O verdadeiro obstáculo é o reconhecimento de fala que consegue ouvir "Você fala espanhol?" e seguir de forma contínua quando o restante da frase chega em espanhol—sem reconfiguração, sem reinicialização, apenas compreensão multilíngue contínua.

Agentes multilíngues de Nível 1 parecem flexíveis no papel: um sistema, muitos idiomas. Na prática, eles só funcionam se você declarar o idioma antecipadamente, antes que alguém diga uma palavra. Você configura “espanhol”, “polonês” ou “francês” como um parâmetro de sessão, e então toda a conversa permanece restrita a essa escolha.

Esse design aparece em todos os lugares, desde árvores de chamadas IVR até bots de suporte ao cliente. Você seleciona em um menu suspenso, pressiona "2 para Español" ou toca em um ícone de bandeira, e só então o pipeline de fala para texto carrega os modelos acústicos e de linguagem corretos. Mude de ideia durante a chamada ou misture outro idioma, e o sistema ouve errado ou ignora a troca.

Logisticamente, o Nível 1 parece desajeitado. Os formulários precisam de um campo extra de "idioma preferido", os fluxos de chamadas necessitam de um menu, e os quiosques precisam de recursos de interface apenas para começar. Cada etapa adicional aumenta a fricção e o abandono; muitos aplicativos para consumidores perdem usuários se o processo de onboarding levar mais de 10 a 20 segundos.

Agentes multilíngues de Nível 2 trabalham de forma diferente. Eles escutam primeiro e decidem rapidamente qual língua—ou línguas—você está usando, sem necessidade de declaração prévia. Uma conversa pode começar em inglês, mudar para espanhol para uma pergunta e depois passar para polonês, e o agente acompanha essas transições em tempo real.

Essa mudança transforma multilinguismo de uma funcionalidade de caixa de seleção em fluência conversacional real. Um sistema de Nível 2 suporta a “mudança de código” natural, onde um usuário mistura idiomas dentro de uma única frase, como “Você pode enviar a factura para o meu e-mail de trabalho?” ou “Czy mówisz hiszpański também?” O agente precisa transcrever, raciocinar e responder adequadamente em cada mudança.

Para produtos globais, o Nível 2 é o padrão de ouro. Um agente pode atender usuários em dezenas de mercados sem a necessidade de números de telefone separados, bots distintos ou regras rígidas de roteamento de idiomas. As empresas evitam manter fluxos paralelos para inglês, francês e polonês, e em vez disso, implantam uma única camada lógica que se adapta ao que o usuário fala.

O “Como Construir um Agente de Voz Multilíngue com LiveKit e Gladia” de Hugo Pod tem como alvo explícito este modelo de Tier 2. Utilizando Gladia para troca de código em baixa latência e LiveKit para áudio em tempo real, sua pilha visa um padrão mais elevado: um agente que se comporta menos como um formulário e mais como uma pessoa.

A alternância de código descreve como pessoas bilíngues mudam de idioma no meio da frase sem pensar: “Oye, você enviou aquele relatório?” ou “Ça marche, eu te aviso depois.” Psicólogos da linguagem veem isso como uma característica, não um problema - pesquisas mostram que bilíngues alternam conforme o tópico, a emoção ou com quem estão falando, frequentemente várias vezes por minuto.

Para agentes de voz com IA, esse comportamento é o santo graal. Um cliente que fala espanhol pode começar em inglês para o menu IVR, mudar para o espanhol para explicar um problema de cobrança e depois voltar para o inglês para fornecer os números do cartão. Qualquer sistema que congela na primeira língua perde confiança, tempo e, muitas vezes, o usuário.

Os riscos no mundo real são altos. Centros de suporte global em Cidade do México, Manila ou Varsóvia frequentemente gerenciam o inglês mais 2–4 idiomas locais na mesma linha. Chamadas de vendas internacionais em fintech, turismo ou SaaS alternam entre inglês, hindi e dialetos regionais. Os serviços públicos em cidades como Nova York ou Londres precisam lidar com conversas em múltiplos idiomas em áreas como saúde, habitação e educação.

Tecnicamente, isso é brutal porque o áudio bruto é ambíguo sem contexto linguístico. Um clipe de dois segundos pode corresponder a palavras plausíveis em inglês, polonês ou português, todas com significados diferentes. O ruído de fundo, os sotaques e o jargão de domínio multiplicam a confusão, então modelos ingênuos "travam" na língua errada e nunca se recuperam.

Todos os três pilares—STT (fala para texto), LLM e TTS—precisam estar em perfeita sincronia na escolha do idioma. Os LLMs já lidam bem com prompts multilíngues, e os modernos motores de TTS como o 11 Labs podem falar polonês ou espanhol de forma convincente assim que recebem texto limpo. O reconhecimento de fala é o verdadeiro desafio.

A STT multilíngue precisa detectar as fronteiras de idiomas em tempo real, às vezes em uma única palavra, enquanto mantém a latência abaixo de ~300 ms para uma chamada natural. Ela deve decidir “foi 'no' em inglês ou 'não' em português?” instantaneamente e trocar modelos ou vocabulários de imediato. Ferramentas como os modelos de mudança de código da Gladia e estruturas documentadas em Voice AI quickstart | LiveKit docs estão surgindo, mas a mudança de código perfeita continua sendo um problema de fronteira.

A moderna IA de voz com troca de códigos se baseia em quatro pilares: roteamento em tempo real, reconhecimento de fala, raciocínio linguístico e fala sintética. Troque qualquer um deles por um componente mais fraco e toda a ilusão de uma conversa fluida e bilíngue quebra instantaneamente.

No centro está o LiveKit, a estrutura de comunicação em tempo real que funciona como o sistema nervoso do agente. Ele gerencia streams de áudio de baixa latência, o estado da sessão e a pressão de retorno, garantindo que pacotes de áudio, transcrições e respostas cheguem em menos de alguns centenas de milissegundos em vez de segundos.

O LiveKit conecta três serviços especializados que cada um possui uma parte diferente da pilha: - Gladia para Transcrição de Voz - OpenAI GPT-4.1 para compreensão de linguagem - 11Labs para Conversão de Texto em Fala

Gladia atua como os ouvidos do agente, transcrevendo continuamente o áudio bruto em texto enquanto o usuário ainda está falando. Seu modelo multilíngue, como a variante SEA SALARIA 1, suporta a troca de códigos entre dezenas de idiomas, detectando quando uma frase passa do inglês para o espanhol e depois para o polonês sem reiniciar a sessão.

Essa habilidade de alternar entre idiomas é importante porque a conversão de fala para texto é o elo mais frágil dessa cadeia. Se a Gladia rotular o espanhol como inglês com sotaque, o GPT-4.1 nunca verá as palavras corretas, e toda a experiência “multilíngue” desmorona em incoerências ou perguntas de esclarecimento estranhas.

Uma vez que Gladia emite texto, o OpenAI GPT-4.1 entra como o cérebro. O LLM rastreia o histórico da conversa, a intenção do usuário e as mudanças de idioma, e então decide não apenas o que dizer, mas em qual idioma dizê-lo. O uso de prompts pode incentivar o GPT-4.1 a refletir automaticamente o idioma do usuário ou a mudar quando solicitado explicitamente (“¿Puedes hablar polaco?”).

A 11Labs fecha o ciclo como a voz. Alimente-a com tokens em polonês, francês ou inglês e ela retornará áudio com som natural nesse mesmo idioma, usando a mesma voz sintética, para que o agente pareça uma persona consistente, e não um mosaico de diferentes sistemas.

Juntos, LiveKit, Gladia, GPT-4.1 e 11Labs formam um circuito em tempo real bem integrado. O áudio entra, o texto consciente de linguagem flui, e a fala corretamente localizada sai — rápido o suficiente para que a troca de idiomas pareça natural, não como trocar de aplicativos.

A transcrição de voz para texto decide discretamente se um agente de voz multilíngue funciona ou desmorona. Para sistemas de Nível 2 que precisam acompanhar um chamador do inglês para o espanhol e depois para o polonês em uma única frase, a transcrição de voz para texto é, de longe, a parte mais desafiadora da estrutura. Modelos de Linguagem de Grande Escala (LLMs) e Texto para Fala (TTS) já conseguem lidar com dezenas de idiomas a partir de texto limpo; a transcrição de voz para texto precisa fazer isso a partir de áudio ruidoso, sobreposto e fortemente acentuado em tempo real.

O modelo sea-salaria-v1 da Gladia está nesse ponto crítico. Ele suporta mais de 40 idiomas de forma nativa, com troca de código integrada, portanto, uma frase como “Você pode ligar para mi mamá em Madrid?” não o confunde em uma linguagem distorcida. Em vez disso, ele segmenta e transcreve o inglês e o espanhol de forma clara, como realmente aparecem na forma de onda.

O roteamento regional é onde o sea-salaria-v1 se torna viável para produtos ao vivo, e não apenas para demonstrações. Gladia permite que você vincule o processamento a regiões específicas, como a EU West, então, se seus usuários estiverem em Londres ou Paris, você evita a penalidade de 100-200 ms devido a saltos transatlânticos. Para um agente de voz, reduzir essa latência mantém as respostas em duas direções abaixo do limiar de ~300 ms, onde a "pausa da IA" se torna evidente.

Sem um mecanismo de STT que possa detectar mudanças de idioma diretamente a partir do áudio, nada mais na cadeia tem alguma chance de ser inteligente. O LLM apenas vê a transcrição de texto que recebe; se o STT rotular incorretamente o polonês como inglês e produzir tokens sem sentido, mesmo o melhor modelo responderá com confiança no idioma errado. O TTS então fala alegremente esse erro de volta para o usuário, consolidando a falha.

O suporte ao code-switching na camada STT também previne hacks frágeis de pré-rota. Você não precisa mais adivinhar o idioma de um chamador pelo número de telefone, uma escolha de menu ou a primeira frase. O sea-salaria-v1 pode ouvir a partir do segundo zero, reconhecer que o usuário acabou de mudar de instruções em inglês para francês falado rapidamente e ajustar conjuntos de caracteres e modelos de linguagem em tempo real.

A Deepgram e outros provedores de STT realmente publicitam recursos multilíngues e até de alternância de código, e eles funcionam para muitos casos de uso. No entanto, para este agente de Nível 2 específico, a Gladia venceu em precisão bruta de transcrição em áudios de idiomas mistos, especialmente com mudanças rápidas e combinações menos comuns, como inglês-polaco. Quando toda a sua experiência depende de acertar esses casos extremas, essa diferença de precisão é decisiva.

O LiveKit não atua mais apenas como um roteador WebRTC; ele se comporta como um runtime de agente que controla todo o loop da chamada. Em vez de conectar STT, LLM e TTS manualmente, você define um agente que reage a eventos—quadros de áudio, mensagens, timeouts—e o LiveKit orquestra o restante em tempo real.

No centro está o Framework LiveKit Agent, que executa sua lógica em Python (ou Node) próxima ao pipeline de mídia. Essa proximidade é importante: menos saltos entre mídia, inferência e lógica de negócios se traduz em menor latência de ponta a ponta, o que é questão de vida ou morte para um agente de voz que muda de código.

O LiveKit Inference se integra diretamente a este ciclo como uma camada gerenciada de LLM e TTS. Você direciona seu agente para os modelos—OpenAI, locais ou hospedados por fornecedores—e o LiveKit cuida do streaming de tokens e do áudio, sem que você precise gerenciar três SDKs diferentes.

Usar o LiveKit Inference também evita uma série de dores de cabeça operacionais. Você evita limites de taxa por fornecedor em chamadas de LLM e TTS, consolida o uso em uma única fatura e frequentemente obtém latência mais baixa, pois o LiveKit se comunica com os provedores por meio de links de nível empresarial em vez de gateways de API pública.

A consolidação de faturamento não é apenas uma conveniência; ela muda como você estrutura. Em vez de construir lógica personalizada de controle de taxa e fallback para cada provedor, você trata a inferência como um único pool de recursos com cotas e monitoramento previsíveis.

A estrutura do LiveKit torna a troca de componentes quase mecânica. No agent.py do Hugo Pod, a Gladia se conecta como provedora de STT por meio de um simples bloco de configuração: nome do modelo (sea salaria 1), região (EU West) e uma lista de idiomas suportados.

Esse design significa que você pode experimentar de forma agressiva. Quer testar A/B duas vozes de TTS ou dois prompts de LLM? Você altera algumas linhas na definição do agente; o LiveKit ainda gerencia o estado da sessão, o roteamento de mídia e a lógica de reconexão.

Para equipes que vêm de serviços WebRTC brutos ou DIY gRPC, este é um nível de abstração diferente. Você para de pensar em sockets e codecs e começa a pensar em “sessões de agente” e “tarefas” que podem ser escaladas horizontalmente.

A documentação do LiveKit se concentra nesse modelo; Construindo agentes de voz | Documentação do LiveKit aborda padrões como trabalho em segundo plano, roteamento multi-agente e ferramentas personalizadas que você pode reutilizar em projetos multilíngues.

Os LLMs modernos mal quebram um suor quando você os pede para lidar com diferentes idiomas. Modelos da classe GPT-4 são treinados em trilhões de tokens coletados da web multilíngue, livros, fóruns e repositórios de código, abrangendo tudo, desde inglês e espanhol até polonês e dialetos específicos. Se você solicitar: “Responda em francês e, em seguida, resuma em inglês,” eles simplesmente fazem isso, token por token.

Esse comportamento multilíngue não é uma funcionalidade adicional; ele deriva da forma como esses modelos aprendem. Durante o treinamento, eles veem conceitos paralelos expressos em diferentes idiomas e otimizam um enorme espaço de incorporação compartilhado. Assim, quando um usuário muda de “Can you book a flight?” para “para mañana a Madrid” no meio da frase, o modelo simplesmente continua prevendo o próximo token mais provável, agora em espanhol.

A solicitação oferece controle preciso. Você pode dizer ao LLM: "Sempre responda na língua do chamador" ou "Fale em inglês, mas espelhe quaisquer frases estrangeiras citadas." Com uma única mensagem de sistema, a mesma instância do GPT-4 pode lidar com suporte ao cliente em alemão, integração técnica em português e perguntas de acompanhamento em inglês, tudo em uma única sessão contínua.

No lado da saída, sistemas de TTS como 11Labs são ainda mais diretos. Eles não precisam inferir qual língua você quis dizer; eles simplesmente sintetizam a língua que o texto já utiliza. Alimente-os com texto em polonês, você obtém áudio em polonês; troque por francês, você obtém francês, muitas vezes com um timbre de voz consistente entre os idiomas.

A TTS multilíngue depende principalmente de duas coisas: cobertura de idiomas e qualidade da voz. Se um provedor oferece, por exemplo, 28 idiomas e vozes cross-linguais, seu aplicativo pode manter a mesma “persona do agente” enquanto alterna entre inglês, espanhol e polonês em tempo real. Sem reconfiguração, sem voz separada por idioma.

Toda essa elegância desmorona se as palavras inseridas no LLM estiverem erradas. A verdadeira mágica—e o verdadeiro risco—está a montante no STT, onde modelos como o Gladia devem detectar mudanças de linguagem, segmentá-las corretamente e fornecer ao LLM transcrições limpas e com alternância de código.

Agent.py atua como o diagrama de fiação para esta configuração multilíngue, e quase toda a mágica vem da configuração, não de algoritmos personalizados. Hugo define um único `Agent` que vincula GladiaSpeechToText, os serviços de inferência da LiveKit e alguns controles de conversa em um único loop em tempo real.

O reconhecimento de fala recebe o ajuste mais detalhado. O bloco `GladiaSpeechToText` especifica três parâmetros críticos: `model="sea-salaria-1"`, `region="eu-west"` e um array `languages`. O modelo `sea-salaria-1` é o carro-chefe da mudança de idioma da Gladia, projetado para lidar com trocas no meio da frase entre inglês, espanhol, polonês e mais.

A seleção da região é importante para a latência. Ao definir `region="eu-west"` a partir de Londres, Hugo mantém os tempos de ida e volta baixos, em vez de direcionar o áudio através do Atlântico para um ponto de extremidade padrão nos EUA. Muitos provedores de STT ocultam o roteamento da região; a Gladia o expõe diretamente, o que é raro e extremamente útil para voz em tempo real.

O parâmetro `languages` é onde isso passa do Nível 1 para o Nível 2. Em vez de dizer ao modelo "esta chamada é em francês", Hugo passa uma lista de opções permitidas, por exemplo: - `"en"` - `"fr"` - `"es"` - `"pl"` A Gladia, então, detecta automaticamente qual idioma está sendo falado a qualquer momento e muda as regras de transcrição instantaneamente.

O lado do LiveKit parece quase monótono em comparação, o que é exatamente o objetivo. Para a inferência de LLM, Hugo conecta um cliente `LiveKitInference` com um modelo como `"gpt-4o-realtime-preview"` e um breve prompt do sistema: “Você é um assistente de voz útil.” Sem bandeiras multilíngues extras, sem lógica de roteamento, apenas um modelo que já entende dezenas de idiomas.

O texto-para-fala utiliza o mesmo padrão: um cliente TTS `LiveKitInference` apontando para um modelo como `"eleven_multilingual_v2"` com um ID de voz escolhido. Contanto que o mecanismo TTS suporte o idioma alvo, alimentar o texto em polonês ou espanhol funciona simplesmente, portanto, o código permanece quase somente como configuração.

A troca de turnos é onde pequenas mudanças de configuração afetam dramaticamente a experiência do usuário. Hugo altera o modelo `turn_detection` do LiveKit de `"english"` para `"multilingual"`, assim o agente detecta pausas e o final das falas corretamente em idiomas não ingleses e em sentenças em idiomas mistos.

Finalmente, `preemptive_generation=False` desativa o hábito do agente de falar por cima dos usuários. Muitos sistemas em tempo real começam a falar assim que "pensam" que você terminou; isso quebra a mudança de código quando os usuários adicionam uma cláusula em outro idioma. Forçar o agente a esperar por um limite de turno claro mantém as conversas naturais e evita interrupções no meio da frase.

O momento de code-switching na demonstração começa de maneira bem inocente. O usuário inicia em inglês, conversando com o agente como se fosse qualquer outro sistema de Nível 1. Então vem a linha de mudança que quebraria a maioria dos voicebots de produção: “Só queria saber se você fala polonês.”

Em vez de responder em inglês ou travar, o agente muda instantaneamente. Ele responde em polonês fluente e com som natural, com a fonética e a prosódia corretas do TTS, sinalizando que o LLM, o prompt e as configurações de voz aceitaram a troca de idioma sem uma reinicialização. Sem alternância manual de idioma, sem reinitialização, sem atraso de "trocando de idioma, por favor aguarde".

O que importa mais é o que acontece a seguir. O usuário continua em polonês, engajando-se em um diálogo completo que permanece inteiramente nesse idioma. O agente compreende frases polonesas de acompanhamento, mantém o contexto e retorna respostas polonesas coerentes e pertinentes—exatamente o comportamento de Tier 2 que produtos multilíngues prometem, mas raramente entregam.

Por trás das câmeras, esse desempenho depende do STT. O modelo da Gladia recebe áudio que começa em inglês, depois, no meio da conversa, muda para polonês, e ainda assim produz transcrições precisas com baixa latência. Essa qualidade de transcrição é o que permite que o LLM mantenha um único estado de conversa em vez de gerar threads de "modo inglês" e "modo polonês".

Registros da execução revelam um detalhe intrigante: `detector de turnos não suporta o idioma polonês`. A detecção de turnos decide quando um usuário terminou de falar, então esse aviso significa que um componente secundário só sabe segmentar certos idiomas. Apesar disso, o sistema nunca apresenta gagueiras visíveis porque o núcleo do pipeline de STT continua a reconhecer e transcrever o polonês de forma confiável.

Este é um ponto arquitetônico sutil, mas importante. Você pode ter peças não críticas—como um detetor de turnos limitado ao idioma—emitindo avisos enquanto o principal motor de transcrição **Gladia** continua operando perfeitamente entre os idiomas. Em implementações reais, essa separação de preocupações significa que você pode iterar em módulos auxiliares sem arriscar o cérebro multilíngue que realmente alimenta a experiência.

Agentes poliglotas deixam de ser um brinquedo de pesquisa uma vez que você conecta uma estrutura de alto nível como LiveKit a um motor de STT feito sob medida como Gladia. O LiveKit cuida da complicada infraestrutura em tempo real—WebRTC, sessões, ciclo de vida do agente—enquanto o modelo de baixa latência e troca de código do Gladia (como sua variante sea-salaria-1) realiza a única tarefa que modelos genéricos ainda não conseguem: detectar e transcrever múltiplas línguas na mesma respiração. Essa combinação transforma um simples bot de voz em um agente de Nível 2 que acompanha a conversa humana em vez de forçar os humanos a rastrear configurações do sistema.

Quando empilhados, esses elementos desbloqueiam produtos que realmente funcionam em escala global. Uma única linha de suporte pode direcionar clientes de Cidade do México, Varsóvia e Paris para o mesmo agente de voz multilíngue, que os acompanha enquanto transita entre o inglês para nomes de produtos e o idioma nativo para o restante. Sem árvores IVR, sem "Pressione 3 para espanhol", apenas um ponto de acesso que se adapta em tempo real.

As reuniões também mudam. Imagine um companheiro do Zoom ou Meet que escuta uma chamada com 10 pessoas, onde os participantes alternam entre inglês, alemão e polonês, e ainda produz: - Legendas ao vivo no idioma preferido de cada participante - Transcrições pesquisáveis, etiquetadas por orador e idioma - Resumos que preservam quando e por que a troca de código aconteceu.

Os assistentes de consumo também se beneficiam. Uma família bilíngue pode conversar com um dispositivo doméstico em inglês, mudar para o francês no meio da frase para se dirigir a um avô e, em seguida, voltar sem a necessidade de redefinir a palavra de ativação ou alterar as configurações do aplicativo. A acessibilidade aumenta quando usuários com proficiência limitada em um idioma "padrão" não precisam mais se restringir a ele apenas para serem compreendidos.

As barreiras que antes exigiam um laboratório de pesquisa—ASR rápido, troca de código robusta, streaming de baixa latência—agora cabem em um projeto de fim de semana. O LiveKit abstrai a pilha em tempo real; o Gladia lida com STT multilingue; LLMs e TTS populares já falam dezenas de idiomas de forma nativa. A parte difícil não é mais “Isso pode ser construído?” mas sim “O que esse agente realmente deveria fazer?”

Você pode responder isso por conta própria. Confira o repositório do GitHub de “Como Construir um Agente de Voz Multilíngue com LiveKit e Gladia”, insira seus próprios comandos e vozes, e comece a criar agentes que falam com os usuários da mesma forma que os usuários já se comunicam entre si.

O que é a alternância de código em IA?

A troca de código é a capacidade de um agente de voz de IA de detectar e alternar entre vários idiomas na mesma conversa, assim como um humano bilíngue faria. Isso requer tecnologia avançada de conversão de fala em texto.

Por que o Gladia é recomendado para agentes de voz multilíngues?

O sistema de reconhecimento de fala da Gladia é destacado pela alta precisão em várias línguas, baixa latência e seu suporte específico para a alternância de código, que é a característica mais crítica para este tipo de agente.

Qual é o papel do LiveKit neste projeto?

O LiveKit atua como a estrutura subjacente para o agente de voz, gerenciando a comunicação em tempo real (WebRTC) e fornecendo um kit de desenvolvimento para agentes. Sua funcionalidade de inferência também simplifica o uso de modelos como o GPT-4 e o 11Labs, por meio da intermediação de chamadas de API.

Posso usar um LLM ou TTS diferente com esta configuração do LiveKit?

Sim. O framework do LiveKit é flexível. Embora o tutorial utilize o GPT-4 da OpenAI e o 11Labs por meio do LiveKit Inference, você pode integrar outros modelos de linguagem e serviços de conversão de texto em fala que atendam às suas necessidades.