Ответ Nokia на бум принятия решений с помощью ИИ
Генеративные большие языковые модели (LLM) создают текст токен за токеном — это творческий, но зачастую непредсказуемый процесс. Модели принятия решений, напротив, возвращают структурированные выходные данные: вероятности для заданных вариантов выбора, ответы «да/нет» или числовые оценки. Это различие критически важно для приложений, требующих детерминированных суждений, не требующих парсинга, в отличие от генерации свободного текста.
Nokia Applied Research решает эту задачу с помощью AnyJev, библиотеки Python с лицензией Apache 2.0. AnyJev добавляет уровень принятия решений к моделям с открытыми весами, не требуя дообучения (fine-tuning) или размеченных обучающих данных. Она превращает генеративную LLM в механизм принятия решений «System One», обеспечивая быструю и структурированную оценку.
AnyJev напрямую конкурирует с Jev от TypeSafe AI — размещенным API с закрытым исходным кодом. Jev обрабатывает примерно 310 токенов за вызов, что стоит 0,042 доллара за миллион входных токенов. AnyJev, однако, работает локально на вашей инфраструктуре с нулевой стоимостью за вызов, используя ваши существующие вычислительные мощности.
AnyJev поддерживает ряд популярных локальных бэкендов для инференса:
- Hugging Face Transformers
- vLLM
- SGLang
- llama.cpp
Эта гибкость позволяет разработчикам интегрировать надежные возможности принятия решений непосредственно в свои self-hosted развертывания моделей, минуя зависимости от внешних API и связанные с ними затраты и задержки.
Хитрый трюк: читайте следующий токен, а не ответ
Основная инновация AnyJev заключается в промпт-инжиниринге, а не в обучении моделей. Она представляет состояние (входной текст) и вопрос с множественным выбором существующей LLM, форматируя варианты с четкими метками, такими как «A» или «B». Вместо того чтобы позволить модели генерировать ответ на естественном языке, AnyJev напрямую запрашивает вероятности следующего токена модели для этих конкретных меток вариантов. Это позволяет напрямую получить распределение вероятностей по вариантам выбора.
Этот метод полностью исключает риски некорректного текста или ошибок парсинга JSON, присущие выходным данным генеративных LLM. Модель не может галлюцинировать или неправильно отформатировать вероятность отдельного символа. Однако корректно отформатированная вероятность не является по своей сути правильной или заслуживающей доверия; она просто отражает «сырое», неисправленное суждение модели.
Чтобы устранить эти внутренние искажения, AnyJev представляет L0 calibration. L0 борется с позиционным искажением (position bias), тестируя все возможные варианты порядка ответов и усредняя результаты, гарантируя, что ни один вариант не получит несправедливого преимущества из-за своего расположения. Она также корректирует искажение меток (label bias), оценивая и корректируя априорное предпочтение модели к определенным меткам, независимо от содержания.
L0 предлагает два метода оценки априорных вероятностей: batch prior, который анализирует ответы по пакету входных данных, и content-free prior, который оценивает искажение на основе входных данных, лишенных реального содержания. Этот второй метод имеет решающее значение для оценки отдельных заголовков, обеспечивая более надежную коррекцию искажений, когда пакетные данные недоступны. L0 значительно повышает надежность принятия решений без необходимости в каких-либо размеченных обучающих данных.
500 заголовков спустя: Jev все еще побеждает в большом тесте
Библиотека AnyJev от Nokia столкнулась с прямой конкуренцией с Jev 1.13 и «сырой» моделью Qwen 8B. Бенчмарк состоял из 500 заголовков, поровну разделенных между сатирическим контентом из The Onion и реальными новостями; все они обрабатывались на MacBook Pro с чипом M2 Max. Этот тест тщательно оценивал точность, скорость и калибровку уверенности.
Jev достиг уровня точности 80%. Raw Qwen значительно отстал с показателем 68,4%, а AnyJev L0 показал лишь незначительно лучший результат — 68,6%. Jev также доминировал по скорости, выполнив все 500 оценок за 51 секунду, в то время как локальным Qwen и AnyJev L0 в совокупности потребовалось 4 минуты 36 секунд, даже при использовании общих ресурсов GPU.
Ключевая сильная сторона AnyJev L0 проявилась в исправлении предвзятости: он устранил все случаи изменения ответов при смене порядка вариантов. Raw Qwen, напротив, изменил ответы в 20 заголовках (4%), а у Jev было 18 незначительных сдвигов. Дополнительные технические подробности можно найти в репозитории GitHub nokia-applied-research/AnyJev: Turn any LLM into a Jev-style decision model.
Метрики уверенности выявили критический недостаток у raw Qwen. Хотя 87% его ответов демонстрировали уверенность ≥99%, он был неправ в 30% этих высокоуверенных прогнозов. AnyJev L0 смягчил позиционные и меточные искажения, но не улучшил калибровку в этом конкретном сравнении, что делает Jev лучшим выбором для калиброванной уверенности.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Исправление предвзятости может исправить один тест, но нарушить другой
Испытания на заголовках выявили подвох AnyJev. Qwen, с его сильной предвзятостью к сатире, часто неверно классифицировал реальные новости, которые звучали как The Onion. Калибровка AnyJev по умолчанию L0, использующая batch prior, едва исправила экстремальные вероятности Qwen в 0% или 100%.
Применение content-free prior к L0, однако, показало другой результат. Эта более сильная коррекция помогла Qwen распознавать реальные истории, которые звучали сатирически, снизив его уклон с 69% сатирических выводов (при распределении 50/50) до более сбалансированных 67% сатирических и 66% реальных новостей. Но это также привело к неверной классификации некоторых подлинных заголовков The Onion.
Исправление склонности модели к определенным меткам помогает, когда эта склонность вредна, но может привести к перекосу, когда меняется состав примеров. Этот метод не делает базовую модель умнее; он лишь корректирует выходные вероятности.
AnyJev привлекателен для частных, локально размещаемых решений и низких затрат на API благодаря лицензии Apache 2.0 и локальному выполнению. Тем не менее, тестируйте AnyJev на своих собственных репрезентативных размеченных примерах перед внедрением в производство. Результаты видео — 80% точности для Jev против 68,6% для L0 у AnyJev — специфичны для одной модели, задачи и настройки теста, а не являются универсальным вердиктом.
Часто задаваемые вопросы
Что такое AnyJev?
AnyJev — это библиотека Python с открытым исходным кодом от Nokia Applied Research, которая добавляет выводы в стиле принятия решений к языковым моделям с открытыми весами.
Как AnyJev принимает решение?
Он проверяет вероятности следующего токена модели для меток ответов, таких как A или B, а затем возвращает вероятности вместо сгенерированного текста.
Превзошел ли AnyJev модель Jev в бенчмарке из видео?
Нет. На 500 заголовках Jev показал точность 80% по сравнению с 68,6% у Qwen с коррекцией L0 по умолчанию в AnyJev.
Бесплатен ли AnyJev для использования?
Библиотека бесплатна по лицензии Apache 2.0. Для её локального запуска по-прежнему требуются вычислительные ресурсы и совместимая модель с открытыми весами.