순서를 기다리지 않는 목소리
Square와 Cash App의 모기업인 Block, Inc.는 인간과 AI의 상호작용을 재정의하는 전이중(full-duplex) 대화형 음성 모델인 Dessa를 선보였습니다. 이 시스템은 듣기와 말하기를 동시에 수행하여 기존 AI 대화에서는 볼 수 없었던 유창함을 구현합니다.
듣고, 처리하고, 말하는 무전기 방식의 기존 음성 비서와 달리, Dessa는 이러한 경직된 순서 지키기를 탈피했습니다. "네", "알겠어요"와 같은 맞장구, 자연스러운 끼어들기, 심지어 문장 중간의 웃음소리까지 인간의 대화 요소를 자연스럽게 구사합니다.
데모는 Dessa의 놀라운 대화 유창성을 보여주지만, 이는 인간 수준의 지능이 아닌 고도화된 처리 능력의 결과물입니다. 예를 들어, 데모에서 대화 상대를 "Ronaldo"로 잘못 인식한 사례처럼 여전히 화자를 혼동하는 등의 오류를 범할 수 있습니다.
인간 대화의 원시 오디오 데이터로만 학습된 이 full-duplex 기능은 텍스트 기반 모델에서 크게 벗어난 것입니다. Dessa는 소리를 직접 입력하고 출력함으로써 감정적 뉘앙스와 운율을 제거하는 텍스트 병목 현상을 우회하며, 소름 끼칠 정도로 인간과 유사한 대화 경험을 제공합니다.
텍스트를 생략하는 것이 소리에 미치는 영향
기존의 AI 음성 비서는 릴레이 경주처럼 작동합니다. 음성 인식으로 오디오를 텍스트로 변환하고, 언어 모델이 텍스트를 처리한 뒤, 텍스트 음성 변환(TTS) 기술이 응답을 합성합니다. 이러한 단계적 파이프라인은 자연스러운 대화의 핵심 요소를 버리게 됩니다. 음성 데이터가 텍스트로 축소되면 어조, 멈춤, 감정, 음량 변화, 웃음소리, 추임새의 미묘한 타이밍 등이 모두 사라집니다.
Dessa는 이러한 text bottleneck을 완전히 우회합니다. 중간 텍스트 계층 없이 오디오를 직접 처리하여 소리를 입력하고 출력합니다. 이러한 직접적인 접근 방식은 실시간 대화의 핵심인 "네", "알겠어요"와 같은 인간의 음성 뉘앙스를 온전히 유지하고 재현할 수 있게 합니다.
Block, Inc.는 Dessa가 텍스트 데이터셋이나 기존 언어 모델을 거치지 않고 인간의 대화 녹음본을 바탕으로 처음부터 학습되었다고 밝혔습니다. 이러한 오디오 우선 학습 방식을 통해 모델은 문장 중간에 웃거나 자연스럽게 끼어드는 등의 대화 역학을 음향 패턴에서 직접 학습할 수 있었습니다.
놀랍게도 Block, Inc.는 Dessa가 소비자용 하드웨어인 Apple MacBook Pro with an M4 Max chip에서 실시간보다 빠르게 로컬 추론을 수행할 수 있다고 보고했습니다. 이러한 배포 주장은 최첨단 생성형 AI 모델에 일반적으로 필요한 대규모 GPU 클러스터와는 대조적으로 매우 효율적인 아키텍처임을 시사합니다.
기묘한 데모에 숨겨진 안전 장치
대화의 사실성은 AI를 세련되고 인위적인 목소리보다 더 신뢰할 수 있게 느껴지게 합니다. Dessa의 자연스러운 리듬과 "네"라고 말하거나 문장 중간에 웃는 것과 같은 인간적인 추임새는 AI가 진정으로 대화에 참여하고 있다는 느낌을 줍니다. 이는 AI가 실제 이해력이 부족하거나 정보를 지어낼 때조차도 인간의 상호작용을 모방하여 강한 이해의 착각을 불러일으킵니다.
Block, Inc.의 데모는 이러한 위험을 잘 보여주었습니다. Dessa는 자신의 기능을 설명할 때, "인상적인" 표현력과 "지금까지 본 그 어떤 것보다 감정을 훨씬 더 잘 이해하는" 능력에 대해 인간처럼 들리는 배경 이야기를 지어냈습니다. 자연스러운 말투는 이러한 조작된 자기 평가에 부당한 신뢰성을 부여했으며, AI가 생성된 콘텐츠를 사실인 것처럼 얼마나 쉽게 제시할 수 있는지를 강조했습니다.
이러한 voice cloning과 반응형 대화의 결합은 심각한 위협을 초래합니다. 사기꾼들은 Dessa와 같은 기술을 활용하여 가족 긴급 상황, 은행, 배송 또는 기술 지원 사기를 위한 매우 사실적이고 대화형인 음성 통화를 생성할 수 있습니다. 멈춤과 끼어들기를 포함한 자연스러운 말하기 패턴은 특히 최신 AI 기능에 익숙하지 않은 개인들에게 일반적인 "로봇 음성"의 위험 신호를 피하게 할 수 있습니다. 더 자세한 기술적 내용은 'Dessa - The Conversation Model Trained Only on Speech'를 참조하십시오.
사기꾼이 손주의 목소리를 복제한 다음, full-duplex AI를 사용하여 감정적 신호와 자연스러운 대화 흐름을 갖춘 상태로 조부모와 실시간으로 대화한다고 상상해 보십시오. 끼어들기, 감정 변화에 대한 반응, 심지어 웃음까지 가능한 능력은 이러한 악의적인 상호작용을 실제 인간의 접촉과 사실상 구별할 수 없게 만들어 사기 효과를 극적으로 높일 수 있습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
오늘의 미리보기, 내일의 신뢰 문제
Block, Inc.는 Dessa를 공개 모델 가중치나 일반 API가 아닌 controlled research preview로 출시했습니다. 액세스는 안전 연구원으로 제한되어 있으며, 이는 강력한 도구가 가진 내재적 위험을 반영합니다. 이러한 신중한 접근 방식은 해당 기술이 악용될 가능성을 인정하는 것입니다.
탐지 및 audio watermarking과 같은 안전장치가 개발 중이지만, 끊임없는 기술 경쟁에 직면해 있습니다. 과제는 빠르게 진화하는 합성 오디오에 대해 강력하고 보편적인 방어 수단을 만드는 것입니다. 단일 솔루션만으로는 위험을 완전히 완화할 수 없습니다.
소비자는 선제적인 안전 조치를 취해야 합니다. 긴급한 요청은 항상 알려진 번호로 전화하여 독립적으로 확인하고, 발신자의 목소리만 전적으로 신뢰해서는 안 됩니다. 중요한 통신을 위해 가족 암호를 설정하는 것은 추가적인 보호 계층을 제공합니다.
Dessa가 다른 AI와 대화하는 AI-to-AI 데모는 고급 가상 비서나 합성 미디어 제작과 같이 사기 이외의 응용 분야를 암시합니다. 이는 AI 음성이 다양한 디지털 상호작용의 필수적인 부분이 되어 지속적인 경계와 적응이 필요한 미래를 시사합니다.
자주 묻는 질문
Block의 Dessa란 무엇인가요?
Dessa는 자연스러운 타이밍과 음성 신호를 사용하여 동시에 듣고 말할 수 있도록 설계된 Block의 대화형 음성 모델입니다.
Dessa는 일반적인 음성 비서와 어떻게 다른가요?
Block에 따르면 Dessa는 음성 대화를 학습하여 음성을 직접 생성하며, 음성 인식(speech-to-text), 언어 모델, 음성 합성(text-to-speech) 릴레이에 의존하지 않습니다.
일반인도 지금 Dessa를 사용할 수 있나요?
제공된 보도에 따르면 Dessa는 제한된 연구 미리보기 단계에 있으며, 초기 액세스는 AI 안전 연구원에게 집중되어 있습니다.
사실적인 AI 음성이 사기에 사용될 수 있나요?
네. 설득력 있고 반응이 빠른 음성은 사칭 및 사회 공학적 통화를 더 설득력 있게 만들 수 있으므로, 수신자는 별도의 신뢰할 수 있는 채널을 통해 긴급한 요청을 확인해야 합니다.