La voz que se niega a esperar su turno
Block, Inc., la empresa detrás de Square y Cash App, presentó Dessa, un modelo de voz conversacional full-duplex que redefine la interacción humano-IA. Este sistema puede escuchar y hablar simultáneamente, permitiendo una fluidez que antes estaba ausente en las conversaciones con IA.
A diferencia de los asistentes de voz tradicionales que funcionan como un walkie-talkie (escuchar, procesar y luego hablar), Dessa rompe con este rígido sistema de turnos. Facilita elementos conversacionales humanos naturales: respuestas breves como "sí" y "entiendo", interrupciones espontáneas e incluso risas a mitad de una frase.
Las demostraciones muestran la sorprendente fluidez conversacional de Dessa, pero esto es testimonio de su procesamiento avanzado, no de una inteligencia a nivel humano. El modelo, por ejemplo, aún puede cometer errores, como confundir a un interlocutor con otra persona, tal como se vio en una demostración donde identificó erróneamente a su interlocutor como "Ronaldo".
Esta capacidad full-duplex, entrenada completamente con audio sin procesar de conversaciones humanas, marca un alejamiento significativo de los modelos basados en texto. Dessa procesa el sonido directamente, entrando y saliendo, evitando el cuello de botella del texto que elimina los matices emocionales y la prosodia, lo que resulta en una experiencia conversacional inquietantemente humana.
Por qué omitir el texto cambia el sonido
Los asistentes de voz de IA convencionales funcionan como una carrera de relevos: el reconocimiento de voz convierte el audio en texto, un modelo de lenguaje procesa el texto y luego la conversión de texto a voz sintetiza una respuesta. Esta cadena de procesos descarta elementos cruciales de la conversación natural. El tono, las pausas, la emoción, los cambios de volumen, la risa y el tiempo sutil de las interjecciones desaparecen cuando el habla se reduce a texto.
Dessa evita este cuello de botella del texto por completo. Procesa el audio directamente, recibiendo sonido y emitiendo sonido sin una capa de texto intermedia. Este enfoque directo le permite retener y replicar toda la riqueza de los matices vocales humanos, incluidos los "sí" y "entiendo" que puntúan el diálogo en tiempo real.
Block, Inc. afirma que Dessa fue entrenado desde cero con grabaciones de conversaciones humanas, evitando conjuntos de datos de texto o modelos de lenguaje preexistentes. Este entrenamiento basado primero en audio permitió al modelo aprender dinámicas conversacionales, como cuándo reír a mitad de una frase o interrumpir de forma natural, directamente a partir de patrones acústicos.
Sorprendentemente, Block, Inc. informa que Dessa puede realizar inferencias locales más rápido que en tiempo real en hardware de consumo, específicamente en un Apple MacBook Pro con chip M4 Max. Esta afirmación de despliegue sugiere una arquitectura altamente eficiente, un marcado contraste con los clústeres de GPU a gran escala que normalmente se requieren para los modelos de IA generativa de vanguardia.
La inquietante demostración tiene una medida de seguridad
El realismo conversacional hace que una IA se sienta más confiable que una voz pulida y obviamente sintética. El ritmo natural de Dessa y sus interjecciones humanas, como decir "sí" o reír a mitad de una frase, pueden hacer que suene genuinamente comprometida. Esto imita la interacción humana, creando una fuerte ilusión de comprensión, incluso cuando la IA subyacente carece de una verdadera comprensión o simplemente inventa información.
Una demostración de Block, Inc. puso de manifiesto este riesgo. Dessa, al hablar de sus propias capacidades, inventó una historia de fondo con sonido humano sobre su "impresionante" expresividad y su habilidad para "entender las emociones mucho mejor que cualquier otra cosa que haya visto". La naturalidad de la locución otorgó a esta autoevaluación fabricada una credibilidad inmerecida, destacando la facilidad con la que una IA puede presentar contenido generado como si fuera un hecho.
Esta combinación de voice cloning y diálogo receptivo supone una amenaza importante. Los estafadores podrían aprovechar una tecnología como Dessa para crear llamadas de voz interactivas e hiperrealistas para estafas relacionadas con emergencias familiares, bancos, entregas o soporte técnico. Los patrones de habla naturalistas, incluyendo pausas e interrupciones, podrían evitar las señales de alerta típicas de una "voz robótica", especialmente para personas que no están familiarizadas con las capacidades actuales de la IA. Para obtener más detalles técnicos, explore Dessa - The Conversation Model Trained Only on Speech.
Imagine a un estafador clonando la voz de un nieto y haciendo que una IA full-duplex interactúe con un abuelo en tiempo real, con señales emocionales y un flujo conversacional natural. La capacidad de interrumpir, responder a cambios emocionales e incluso reír podría hacer que estas interacciones maliciosas sean prácticamente indistinguibles del contacto humano genuino, aumentando drásticamente su eficacia.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
Una vista previa hoy, un problema de confianza mañana
Block, Inc. ha lanzado Dessa como una vista previa de investigación controlada, no como pesos de modelo públicos o una API general. El acceso está limitado a investigadores de seguridad, lo que refleja los riesgos inherentes de una herramienta tan potente. Este enfoque cauteloso reconoce el potencial de uso indebido de la tecnología.
Aunque se están desarrollando salvaguardas como la detección y el audio watermarking, se enfrentan a una carrera armamentística constante. El desafío radica en crear defensas robustas y omnipresentes contra el audio sintético que evoluciona rápidamente. Ninguna solución por sí sola puede mitigar completamente los riesgos.
Los consumidores deben adoptar medidas de seguridad proactivas. Verifique siempre de forma independiente las solicitudes urgentes llamando a un número conocido, sin confiar nunca únicamente en la voz de quien llama. Establecer una palabra clave familiar para comunicaciones críticas proporciona una capa adicional de protección.
La demostración de IA a IA, donde Dessa conversa con otra IA, sugiere aplicaciones más allá de las estafas, como asistentes virtuales avanzados o la creación de medios sintéticos. Esto sugiere un futuro en el que las voces de IA se vuelvan integrales en diversas interacciones digitales, lo que requiere una vigilancia y adaptación constantes.
Preguntas frecuentes
¿Qué es Dessa de Block?
Dessa es un modelo de voz conversacional de Block diseñado para escuchar y hablar al mismo tiempo, con una sincronización y señales vocales naturales.
¿En qué se diferencia Dessa de un asistente de voz típico?
Block afirma que Dessa fue entrenado con conversaciones de audio y genera voz directamente, en lugar de depender de un sistema de retransmisión de voz a texto, modelo de lenguaje y texto a voz.
¿Puede el público usar Dessa ahora?
Según los informes proporcionados, Dessa se encuentra en una vista previa de investigación limitada, con acceso temprano centrado en investigadores de seguridad de IA.
¿Podrían utilizarse voces de IA realistas para estafas?
Sí. Una voz convincente y receptiva podría hacer que las llamadas de suplantación de identidad e ingeniería social sean más persuasivas, por lo que quienes reciben las llamadas deben verificar las solicitudes urgentes a través de un canal confiable independiente.