서버 비용을 절감하는 AI를 만나보세요
AI 추론을 위한 서버 비용이요? 이제 선택 사항입니다. Desert Ant Labs의 온디바이스 AI 접근 방식은 귀하의 하드웨어에서 직접 실행되는 작고 전문화된 모델을 제공합니다. 모든 오디오나 비전 작업을 대규모 클라우드 모델로 라우팅하는 대신, 이러한 작고 작업별로 특화된 모델이 로컬에서 실행되어 지연 시간을 줄이고 민감한 데이터를 비공개로 유지합니다.
이러한 변화는 앱 개발자와 사용자 모두에게 매력적입니다. 개발자는 추론 비용을 최소화하고, 최종 사용자는 거의 즉각적인 처리와 향상된 개인 정보 보호의 혜택을 누릴 수 있습니다. Desert Ant Labs의 SDK v4에 포함된 이 베타 모델들은 효율적이고 안전한 AI의 새로운 지평을 제시합니다.
두 가지 새로운 제품인 Who와 Eye를 소개합니다. Who는 화자 분리(speaker diarization)를 처리하여 오디오 트랙에서 누가 언제 말했는지를 10밀리초 단위의 정밀도로 식별합니다. Apple 하드웨어에서 실시간 대비 약 950배의 속도로 작동하며, 50분 분량의 인터뷰를 약 3초 만에 처리합니다.
Eye는 온디바이스 비전 기능을 제공합니다. 클라우드 업로드 없이 사진을 태그 지정, 점수 매기기 및 정렬하며 다음과 같은 작업을 수행합니다:
- 이미지 분류 (스크린샷, 영수증, 문서)
- 558개 카테고리에 걸친 콘텐츠 태그 지정
- 미적 품질 평가
- 웃는 얼굴 또는 감은 눈 식별
- 거의 중복된 사진 그룹화 및 최상의 사진 선택
두 모델 모두 범용 어시스턴트가 아닙니다. Who는 음성을 받아쓰거나 이름을 식별하지 않으며, 오직 화자의 순서만 파악합니다. Eye는 영수증을 인식하지만 OCR을 수행하지는 않습니다. 이들은 특정 고성능 엣지 케이스에 최적화된 상호 보완적인 도구입니다.
Who는 모든 목소리를 찾지만, 모든 이름을 찾지는 않습니다
Desert Ant Labs의 Who 모델은 화자 분리를 전문으로 합니다. 이 모델은 어떤 번호의 화자가 언제 말했는지 식별하고, 10밀리초 단위로 발화 경계를 보고합니다. 겹치는 음성은 두 화자 모두에게 귀속됩니다. 중요한 점은 Who가 오디오를 받아쓰거나 화자의 이름을 식별하지 않는다는 것입니다.
속도에 대한 주장은 매우 공격적입니다. Desert Ant Labs는 M5 Pro에서 Who가 실시간 대비 약 950배의 속도를 낸다고 측정했습니다. 57분 분량의 NASA 팟캐스트를 MP3 디코딩을 포함하여 6.4초 만에 처리했습니다. 비디오 데모에서는 구형 M2 Max에서 11.9초 만에 실행되는 모습을 보여주었습니다.
벤치마크 결과는 미묘한 성능 차이를 보여줍니다. AMI 회의 데이터셋에서 Who는 12.6%의 오류율을 기록하여 pyannote의 13.1%를 근소하게 앞섰습니다. 그러나 최대 20명의 화자가 참여하는 실적 발표 회의에서는 27.7%의 오류율을 기록하여 pyannote의 7.3%보다 뒤처졌습니다.
Who는 팟캐스트나 통화와 같이 마이크가 가까운 오디오에서 뛰어난 성능을 발휘합니다. 붐비는 환경이나 원거리 녹음에는 적합하지 않습니다. 이 특정 모델은 광범위한 애플리케이션이 아닌 정의된 사용 사례에 최적화되어 있습니다.
Eye는 지저분한 사진 폴더를 라이브러리로 바꿔줍니다
Eye 모델의 원콜(one-call) 사진 분석은 지저분한 폴더를 정리된 라이브러리로 변환합니다. 이미지를 스크린샷, 영수증, 문서 또는 사진으로 분류합니다. 558개 카테고리에 걸친 태그는 세밀한 맥락을 제공합니다. 또한 미적 점수를 매기고, 눈을 감았거나 웃고 있는 얼굴을 표시하며, 거의 중복된 사진을 그룹화하여 최상의 사진을 제안합니다.
중요한 점은 Eye가 영수증을 인식하지만 텍스트를 읽지는 않는다는 것입니다. OCR은 이 모델의 일부가 아닙니다. 신뢰도 점수에는 임계값이 필요합니다: Desert Ant Labs는 긍정적인 일치를 위해 0.5를, 개인 이미지 숨기기와 같은 민감한 자동 작업을 위해서는 더 엄격한 0.9를 권장합니다.
Better Stack의 브라우저 데모는 현실을 직시하게 해주었습니다. Eye는 105장의 사진을 16.1초 만에 분류했으며, 초당 평균 6.5장의 이미지를 처리했습니다. 데모를 통해 유용한 카테고리를 확인할 수 있었지만, 흐림 정도나 미적 점수와 같은 주관적인 판단은 일관성이 떨어질 수 있습니다. 이 소형 모델은 클라우드가 아닌 휴대폰에서 직접 실행되므로 사진 관리를 위한 강력한 로컬 도구가 됩니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
로컬 AI에는 여전히 주의사항이 있습니다
로컬 AI에는 여전히 몇 가지 특이점이 있습니다. Eye는 WebGPU를 사용하여 브라우저에서 실행되며, 지원되지 않을 경우 WebAssembly로 대체됩니다. Who는 화자별로 라벨이 지정된 녹취록을 위해 별도의 음성 인식기와 연동됩니다. 두 모델 모두 완전 자동화된 '설정 후 잊어버려도 되는' 워크플로우를 제공하지는 않습니다.
미디어 처리는 기기 내에서 이루어지므로 개인정보 보호가 보장됩니다. 그러나 소스 공개(source-available) SDK는 매월 라이선스 확인을 수행합니다. 무료 티어는 월간 활성 기기 최대 10만 대까지 지원하며, 오픈 소스는 아닙니다.
Who와 Eye는 다음 분야에서 유망합니다:
- 팟캐스트 워크플로우
- 전용 마이크를 사용하는 회의
- 사진 라이브러리 정리
실제 도입 전 대표 데이터를 사용하여 테스트하십시오. Who는 대규모 그룹(20명 이상)이나 원거리 마이크 환경에서 어려움을 겪으며, Eye의 신뢰도 점수는 민감한 이미지의 자동 처리를 위해 조정이 필요합니다.
자주 묻는 질문(FAQ)
Desert Ant Labs의 Who 모델은 어떤 기능을 하나요?
Who는 오디오 녹음에서 서로 다른 화자가 말하는 시점을 식별합니다. 화자에게 번호를 할당하고 타임스탬프를 기록하지만, 음성을 텍스트로 변환하거나 사람의 이름을 식별하지는 않습니다.
Eye가 영수증의 텍스트를 읽을 수 있나요?
아니요. Eye는 이미지를 영수증으로 분류할 수는 있지만, OCR을 수행하거나 영수증의 텍스트를 추출하지는 않습니다.
Who와 Eye는 녹음 파일이나 사진을 클라우드로 전송하나요?
모델은 지원되는 기기나 브라우저에서 로컬로 미디어를 처리합니다. SDK가 매월 라이선스 확인을 수행하지만, 회사 측에 따르면 여기에는 오디오나 사진 데이터가 포함되지 않습니다.
Desert Ant Labs의 Who와 Eye 모델은 오픈 소스인가요?
아니요. 이 모델들은 Desert Ant Labs의 소스 공개 라이선스를 사용하며, 약관에 따라 월간 활성 기기 10만 대까지 무료로 사용할 수 있습니다.