Встречайте ИИ, который позволяет забыть о счетах за серверы
Счета за серверы для инференса ИИ? Необязательно. Подход Desert Ant Labs к ИИ на устройстве предоставляет небольшие специализированные модели, работающие непосредственно на вашем оборудовании. Вместо того чтобы направлять каждую аудио- или визуальную задачу через большую облачную модель, эти крошечные, узкоспециализированные модели выполняются локально, сокращая задержки и сохраняя конфиденциальность данных.
Этот сдвиг привлекает как разработчиков приложений, так и пользователей. Разработчики минимизируют затраты на инференс, а конечные пользователи получают выгоду от практически мгновенной обработки и повышенной конфиденциальности. Эти бета-модели, входящие в состав SDK v4 от Desert Ant Labs, представляют собой новый рубеж эффективного и безопасного ИИ.
Представляем две новые разработки: Who и Eye. Who занимается диаризацией спикеров, определяя, кто говорил и когда в аудиодорожках, с точностью до 10 миллисекунд. Она обрабатывает 50-минутное интервью примерно за 3 секунды, работая со скоростью ~950x быстрее реального времени на оборудовании Apple.
Eye предоставляет возможности компьютерного зрения на устройстве. Она помечает, оценивает и сортирует фотографии без загрузки в облако, выполняя такие задачи, как:
- Классификация изображений (скриншот, чек, документ)
- Тегирование контента по 558 категориям
- Оценка эстетического качества
- Распознавание улыбающихся лиц или закрытых глаз
- Группировка похожих дублей и выбор лучшего
Ни одна из моделей не является универсальным помощником. Who не транскрибирует речь и не идентифицирует имена, только смену спикеров. Eye распознает чек, но не выполняет OCR. Это взаимодополняющие инструменты, оптимизированные для конкретных высокопроизводительных сценариев.
Who находит каждый голос, но не каждое имя
Модель Who от Desert Ant Labs специализируется на диаризации спикеров: она определяет, какой пронумерованный спикер говорил и когда, сообщая границы реплик с точностью до 10 миллисекунд. Перекрывающаяся речь приписывается обоим спикерам. Важно отметить, что Who не транскрибирует аудио и не идентифицирует спикеров по именам.
Заявления о скорости весьма амбициозны. Desert Ant Labs фиксирует работу Who на скорости примерно 950x быстрее реального времени на чипе M5 Pro. 57-минутный подкаст NASA был обработан за 6,4 секунды, включая декодирование MP3. Видеодемонстрация показала результат 11,9 секунды на более старом M2 Max.
Бенчмарки показывают неоднозначную производительность. На наборе данных встреч AMI модель Who показала уровень ошибок 12,6%, немного опередив pyannote с 13,1%. Однако она испытывает трудности с отчетами о доходах, где участвуют до 20 спикеров, и здесь её уровень ошибок 27,7% уступает 7,3% у pyannote.
Who отлично справляется с аудио, записанным на близком расстоянии, например, в подкастах и звонках. Она менее подходит для шумных записей с большого расстояния. Эта конкретная модель оптимизирована для определенных сценариев использования, а не для широкого применения.
Eye превращает беспорядочную папку с фото в библиотеку
Анализ фотографий в один вызов с помощью модели Eye превращает беспорядочные папки в организованные библиотеки. Она классифицирует изображения как скриншоты, чеки, документы или фотографии. Теги по 558 категориям обеспечивают детальный контекст. Она также оценивает эстетику, помечает лица с закрытыми глазами или улыбками и группирует похожие дубли, предлагая лучший снимок.
Важно отметить, что Eye распознает чек, но не читает его текст — OCR не является частью этой модели. Для показателей уверенности требуются пороговые значения: Desert Ant Labs рекомендует 0,5 для положительного совпадения или более строгие 0,9 для чувствительных автоматических действий, таких как скрытие личных изображений.
Демонстрация браузерной версии Better Stack стала проверкой реальностью. Eye отсортировал 105 фотографий за 16,1 секунды, в среднем около 6,5 изображений в секунду. Хотя демо выявило полезные категории, субъективные оценки, такие как размытость и эстетическая привлекательность, могут быть непоследовательными. Эта крошечная модель работает на вашем телефоне, а не в облаке, что делает ее мощным локальным инструментом для управления фотографиями.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Локальный ИИ все еще имеет свои нюансы
Локальный ИИ все еще имеет свои особенности. Eye работает в браузере с использованием WebGPU, переключаясь на WebAssembly в случае необходимости; Who работает в паре с отдельным инструментом распознавания речи для создания транскриптов с указанием спикеров. Ни один из них не предлагает полностью автоматизированный рабочий процесс в стиле «настроил и забыл».
Обработка медиафайлов остается на устройстве, что обеспечивает конфиденциальность. Однако SDK с открытым исходным кодом (source-available) выполняет ежемесячную проверку лицензии. Бесплатный уровень покрывает до 100 000 активных устройств в месяц — это не открытое программное обеспечение (open source).
Who и Eye показывают потенциал для:
- Подкастинга
- Встреч с использованием выделенных микрофонов
- Очистки фотобиблиотек
Протестируйте их на репрезентативных данных, прежде чем полагаться на них. Who испытывает трудности с большими группами (более 20 спикеров) или удаленными микрофонами; показатели уверенности Eye требуют настройки для автоматической обработки конфиденциальных изображений.
Часто задаваемые вопросы
Что делает модель Who от Desert Ant Labs?
Who определяет, когда разные спикеры говорят в аудиозаписи. Она присваивает номера спикерам и временные метки, но не транскрибирует речь и не идентифицирует людей по именам.
Может ли Eye читать текст на чеках?
Нет. Eye может классифицировать изображение как чек, но не выполняет OCR и не извлекает текст из чека.
Отправляют ли Who и Eye записи или фотографии в облако?
Модели обрабатывают медиафайлы локально на поддерживаемых устройствах или в браузере. SDK действительно выполняет ежемесячную проверку лицензии, которая, по заявлению компании, не включает аудио или фотографии.
Являются ли модели Who и Eye от Desert Ant Labs открытым программным обеспечением?
Нет. Они используют лицензию Desert Ant Labs с открытым исходным кодом (source-available), которая предлагает бесплатное использование до 100 000 активных устройств в месяц в соответствии с ее условиями.