Голос, который не хочет ждать своей очереди
Компания Block, Inc., стоящая за Square и Cash App, представила Dessa — полнодуплексную модель разговорной речи, которая переосмысливает взаимодействие человека и ИИ. Эта система может слушать и говорить одновременно, обеспечивая плавность, которой раньше не было в беседах с ИИ.
В отличие от традиционных голосовых помощников, которые работают по принципу рации — слушают, обрабатывают, а затем говорят — Dessa нарушает эту жесткую очередность. Она поддерживает естественные элементы человеческого общения: поддакивания вроде «да» и «понятно», спонтанные перебивания и даже смех посреди предложения.
Демонстрации показывают поразительную разговорную беглость Dessa, но это лишь свидетельство продвинутой обработки данных, а не интеллекта человеческого уровня. Модель, например, все еще может допускать ошибки, такие как путаница с собеседником, что было видно в демо, где она ошибочно приняла своего визави за «Ronaldo».
Эта полнодуплексная возможность, обученная исключительно на «сыром» аудио из человеческих разговоров, знаменует собой значительный отход от текстовых моделей. Dessa напрямую обрабатывает звук на входе и выходе, минуя текстовое «бутылочное горлышко», которое лишает речь эмоциональных нюансов и интонаций, что приводит к пугающе человекоподобному опыту общения.
Почему отказ от текста меняет звучание
Обычные голосовые ИИ-помощники работают как в эстафете: распознавание речи преобразует аудио в текст, языковая модель обрабатывает текст, а синтез речи создает ответ. Этот каскадный конвейер отбрасывает важнейшие элементы естественного разговора. Тон, паузы, эмоции, изменения громкости, смех и тонкие моменты для междометий исчезают, когда речь сводится к тексту.
Dessa полностью обходит это текстовое «бутылочное горлышко». Она обрабатывает аудио напрямую, принимая звук и выдавая звук без промежуточного текстового слоя. Такой прямой подход позволяет ей сохранять и воспроизводить все богатство человеческих вокальных нюансов, включая «да» и «понятно», которыми сопровождается диалог в реальном времени.
Block, Inc. утверждает, что Dessa была обучена с нуля на записях человеческих разговоров, минуя текстовые наборы данных или существующие языковые модели. Такое обучение, ориентированное на аудио, позволило модели усвоить динамику разговора, например, когда нужно рассмеяться посреди фразы или естественно перебить, основываясь непосредственно на акустических паттернах.
Примечательно, что Block, Inc. сообщает, что Dessa способна выполнять локальный инференс быстрее реального времени на потребительском оборудовании, в частности на Apple MacBook Pro с чипом M4 Max. Это заявление о развертывании предполагает наличие высокоэффективной архитектуры, что резко контрастирует с крупномасштабными кластерами GPU, обычно требуемыми для передовых генеративных моделей ИИ.
У жутковатой демонстрации есть предохранитель
Разговорный реализм заставляет ИИ казаться более заслуживающим доверия, чем отшлифованный, явно синтетический голос. Естественный ритм Dessa и человеческие междометия, такие как «да» или смех посреди предложения, могут создать впечатление искренней вовлеченности. Это имитирует человеческое взаимодействие, создавая сильную иллюзию понимания, даже когда лежащий в основе ИИ не обладает истинным пониманием или просто выдумывает информацию.
Демонстрация Block, Inc. наглядно показала этот риск. Dessa, обсуждая свои собственные возможности, выдумала правдоподобную предысторию о своей «впечатляющей» выразительности и способности «понимать эмоции гораздо лучше, чем что-либо, что я когда-либо видела». Естественная манера речи придала этой вымышленной самооценке незаслуженное доверие, подчеркнув, как легко ИИ может выдавать сгенерированный контент за факты.
Такое сочетание клонирования голоса и интерактивного диалога представляет серьезную угрозу. Мошенники могут использовать технологию, подобную Dessa, для создания гиперреалистичных интерактивных голосовых вызовов для афер, связанных с «чрезвычайными ситуациями в семье», банковскими услугами, доставкой или технической поддержкой. Естественные речевые паттерны, включая паузы и перебивания, могут помочь обойти типичные признаки «роботизированного голоса», особенно для людей, не знакомых с современными возможностями ИИ. Для получения дополнительных технических подробностей изучите Dessa - The Conversation Model Trained Only on Speech.
Представьте, что мошенник клонирует голос внука, а затем использует полнодуплексный ИИ, чтобы вести разговор с бабушкой или дедушкой в режиме реального времени, включая эмоциональные сигналы и естественный ход беседы. Способность перебивать, реагировать на эмоциональные сдвиги и даже смеяться может сделать эти злонамеренные взаимодействия практически неотличимыми от реального человеческого общения, что значительно повышает их эффективность.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Сегодняшний предварительный просмотр — завтрашняя проблема доверия
Block, Inc. выпустила Dessa в качестве контролируемой исследовательской версии, а не в виде общедоступных весов модели или общего API. Доступ ограничен исследователями безопасности, что отражает присущие риски такого мощного инструмента. Такой осторожный подход признает потенциал технологии для злоупотреблений.
Хотя такие средства защиты, как обнаружение и аудио-ватермаркинг, находятся в стадии разработки, они сталкиваются с постоянной «гонкой вооружений». Задача заключается в создании надежных и повсеместных средств защиты от быстро развивающегося синтетического аудио. Ни одно решение не может полностью устранить риски.
Потребители должны принимать проактивные меры безопасности. Всегда самостоятельно проверяйте срочные запросы, перезванивая по известному номеру, и никогда не полагайтесь исключительно на голос звонящего. Установление семейного кодового слова для критически важных коммуникаций обеспечивает дополнительный уровень защиты.
Демонстрация взаимодействия ИИ с ИИ, где Dessa общается с другим ИИ, намекает на применение технологии за пределами мошенничества, например, в продвинутых виртуальных помощниках или создании синтетического медиаконтента. Это предполагает будущее, в котором голоса ИИ станут неотъемлемой частью различных цифровых взаимодействий, требуя постоянной бдительности и адаптации.
Часто задаваемые вопросы
Что такое Dessa от Block?
Dessa — это разговорная речевая модель от Block, разработанная для того, чтобы слушать и говорить одновременно, с естественными таймингами и вокальными сигналами.
Чем Dessa отличается от обычного голосового помощника?
В Block заявляют, что Dessa была обучена на аудиодиалогах и генерирует речь напрямую, а не полагается на цепочку из распознавания речи (speech-to-text), языковой модели и синтеза речи (text-to-speech).
Может ли общественность использовать Dessa сейчас?
Согласно предоставленным отчетам, Dessa находится в ограниченном исследовательском доступе, а ранний доступ предоставлен в основном исследователям безопасности ИИ.
Могут ли реалистичные голоса ИИ использоваться для мошенничества?
Да. Убедительный, отзывчивый голос может сделать звонки для выдачи себя за другого человека и методы социальной инженерии более убедительными, поэтому звонящим следует проверять срочные запросы через отдельный доверенный канал.