サーバー代を節約するAIの登場
AI推論のサーバー利用料は必要でしょうか？いいえ、不要です。Desert Ant LabsのオンデバイスAIアプローチは、小型で専門化されたmodels runを、お使いのハードウェア上で直接実行します。すべての音声や視覚タスクを巨大なクラウドモデルにルーティングする代わりに、これらのタスク特化型の超小型モデルがローカルで実行されるため、レイテンシが削減され、機密データが保護されます。
このシフトは、アプリ開発者とユーザーの両方にメリットをもたらします。開発者は推論コストを最小限に抑え、エンドユーザーはほぼ瞬時の処理と強化されたプライバシーの恩恵を受けられます。Desert Ant LabsのSDK v4の一部であるこれらのベータモデルは、効率的で安全なAIの新たなフロンティアを切り拓きます。
2つの新しい製品、WhoとEyeをご紹介します。Whoは話者分離（speaker diarization）を処理し、音声トラック内の「誰が」「いつ」話したかを10ミリ秒単位の精度で特定します。50分のインタビューを約3秒で処理し、Apple製ハードウェア上でリアルタイムの約950倍の速度で動作します。
Eyeはオンデバイスの視覚機能を提供します。クラウドへのアップロードなしで写真のタグ付け、スコアリング、整理を行い、以下のようなタスクを実行します：
- 画像の分類（スクリーンショット、領収書、ドキュメント）
- 558カテゴリにわたるコンテンツのタグ付け
- 美的品質の評価
- 笑顔や閉じた目の識別
- 類似写真のグループ化とベストショットの選択
どちらのモデルも汎用アシスタントではありません。Whoは音声を文字起こししたり名前を特定したりすることはなく、話者の交代のみを識別します。Eyeは領収書を認識しますが、OCR（光学文字認識）は行いません。これらは特定の高性能なエッジケースに最適化された、補完的なツールです。
Whoはすべての声を特定しますが、名前までは特定しません
Desert Ant LabsのWhoモデルは話者分離に特化しており、「どの」番号の話者が「いつ」話したかを特定し、10ミリ秒単位で交代境界を報告します。重なった音声は両方の話者に帰属されます。重要な点として、Whoは音声を文字起こししたり、話者を名前で特定したりすることはありません。
速度に関する主張は非常に意欲的です。Desert Ant Labsは、M5 Pro上でWhoがリアルタイムの約950倍の速度で動作すると測定しています。57分のNASAのポッドキャストを、MP3デコードを含めて6.4秒で処理しました。ビデオデモでは、旧型のM2 Maxで11.9秒という実行結果が示されました。
ベンチマークの結果、パフォーマンスには微妙な違いがあることが明らかになりました。AMI会議データセットにおいて、Whoは12.6%のエラー率を記録し、pyannoteの13.1%を僅差で上回りました。しかし、最大20人の話者が参加する決算説明会などでは、27.7%のエラー率となり、pyannoteの7.3%には及びません。
Whoは、ポッドキャストや通話などの近接マイク音声で真価を発揮します。混雑した遠距離録音にはあまり適していません。この特定のモデルは、広範なアプリケーションではなく、明確に定義されたユースケースに最適化されています。
Eyeは散らかった写真フォルダを整理されたライブラリに変えます
Eyeモデルのワンコール写真分析は、散らかったフォルダを整理されたライブラリに変えます。画像をスクリーンショット、領収書、ドキュメント、写真として分類します。558カテゴリにわたるタグ付けにより、詳細なコンテキストを提供します。また、美観をスコアリングし、目をつぶっている顔や笑顔の顔にフラグを立て、類似写真をグループ化してベストショットを提案します。
重要な点として、Eyeは領収書を認識しますが、そのテキストを読み取ることはありません。OCRはこのモデルの一部ではありません。信頼スコアには閾値が必要です。Desert Ant Labsは、ポジティブマッチには0.5、プライベートな画像を非表示にするような機密性の高い自動アクションには0.9という、より厳格な閾値を推奨しています。
Better Stackのブラウザデモは、現実を再認識させるものでした。Eyeは105枚の写真を16.1秒で分類し、平均して1秒あたり約6.5枚という結果でした。デモでは有用なカテゴリが提示されましたが、ぼかしや美観スコアといった主観的な判断には一貫性がない場合があります。この軽量なモデルはクラウドではなくスマートフォン上で動作するため、写真管理のための強力なローカルツールとなります。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
ローカルAIには依然として注意点があります
ローカルAIにはまだ癖があります。EyeはWebGPUを使用してブラウザで実行され、WebGPUが利用できない場合はWebAssemblyにフォールバックします。Whoは、話者ラベル付きの文字起こしを行うために別の音声認識エンジンと組み合わせて使用します。どちらも、完全に自動化された「設定して放置」できるワークフローを提供するものではありません。
メディアの処理はデバイス上で行われるため、プライバシーが保護されます。ただし、ソース公開型のSDKは月次のライセンスチェックを行います。無料枠は月間アクティブデバイス数10万台までをカバーしていますが、オープンソースではありません。
WhoとEyeは以下の用途で期待できます：
- ポッドキャストのワークフロー
- 専用マイクを使用した会議
- フォトライブラリの整理
導入を検討する前に、代表的なデータでテストを行ってください。Whoは大人数（20人以上）や遠距離マイクでの録音には苦戦します。Eyeの信頼度スコアは、機密画像の自動処理を行うには調整が必要です。
よくある質問
Desert Ant LabsのWhoモデルは何をしますか？
Whoは、音声録音において異なる話者がいつ話しているかを識別します。話者に番号を割り当ててタイムスタンプを付与しますが、音声を文字起こししたり、個人を名前で特定したりすることはありません。
Eyeはレシートのテキストを読み取れますか？
いいえ。Eyeは画像を「レシート」として分類することはできますが、OCRを実行したり、レシートのテキストを抽出したりすることはできません。
WhoとEyeは録音データや写真をクラウドに送信しますか？
これらのモデルは、サポートされているデバイス上またはブラウザ内でローカルにメディアを処理します。SDKは月次のライセンスチェックを行いますが、同社によれば、そのチェックに音声や写真データは含まれていません。
Desert Ant LabsのWhoおよびEyeモデルはオープンソースですか？
いいえ。これらはDesert Ant Labsのソース公開ライセンスを使用しており、規約に基づき月間アクティブデバイス数10万台まで無料で利用可能です。