A resposta da Nokia ao boom de decisões por IA
Modelos de Linguagem Grande (LLMs) generativos produzem texto token por token, um processo criativo, mas frequentemente imprevisível. Modelos de decisão, em contraste, retornam saídas estruturadas: probabilidades para escolhas tipadas, respostas sim/não ou pontuações numéricas. Essa distinção é crítica para aplicações que exigem julgamentos determinísticos e livres de parsing, em vez de geração de texto de forma livre.
A Nokia Applied Research atende a essa necessidade com o AnyJev, uma biblioteca Python Apache 2.0. O AnyJev adiciona uma camada de decisão a modelos de pesos abertos sem exigir fine-tuning ou dados de treinamento rotulados. Ele transforma um LLM generativo em um motor de decisão "Sistema Um", permitindo avaliações estruturadas e rápidas.
O AnyJev compete diretamente com o Jev da TypeSafe AI, uma API hospedada e de código fechado. O Jev processa aproximadamente 310 tokens por chamada, custando US$ 0,042 por milhão de tokens de entrada. O AnyJev, no entanto, roda localmente em sua infraestrutura com custo zero por chamada, aproveitando sua computação existente.
O AnyJev suporta uma variedade de backends de inferência local populares:
- Hugging Face Transformers
- vLLM
- SGLang
- llama.cpp
Essa flexibilidade permite que desenvolvedores integrem capacidades robustas de tomada de decisão diretamente em suas implementações de modelos auto-hospedados, contornando dependências de APIs externas e seus custos e latências associados.
O truque inteligente: ler o próximo token, não uma resposta
A inovação central do AnyJev reside na engenharia de prompt, não no treinamento de modelos. Ele apresenta um estado (o texto de entrada) e uma pergunta de múltipla escolha a um LLM existente, formatando opções com rótulos distintos como "A" ou "B". Em vez de permitir que o modelo gere uma resposta em linguagem natural, o AnyJev consulta diretamente as probabilidades do próximo token do modelo para esses rótulos de opção específicos. Isso recupera diretamente uma distribuição de probabilidade entre as escolhas.
Este método contorna completamente os riscos de texto malformado ou falhas de parsing de JSON inerentes às saídas de LLMs generativos. Um modelo não pode alucinar ou formatar incorretamente uma probabilidade de caractere único. No entanto, uma probabilidade formatada de forma limpa não é inerentemente correta ou confiável; ela simplesmente reflete o julgamento bruto e não corrigido do modelo.
Para lidar com esses vieses inerentes, o AnyJev introduz a calibração L0. O L0 aborda o viés de posição testando todas as ordenações possíveis das opções e calculando a média dos resultados, garantindo que nenhuma escolha ganhe uma vantagem injusta devido à sua colocação. Ele também corrige o viés de rótulo estimando e ajustando a preferência prévia do modelo por certos rótulos, independentemente do conteúdo.
O L0 oferece dois métodos de estimativa prévia: batch prior, que analisa respostas em um lote de entradas, e content-free prior, que estima o viés a partir de uma entrada desprovida de conteúdo real. Este segundo método é crucial para julgamentos de manchetes únicas, fornecendo uma correção de viés mais robusta quando dados em lote não estão disponíveis. O L0 melhora significativamente a confiabilidade da decisão sem exigir dados de treinamento rotulados.
500 manchetes depois, o Jev ainda vence o grande teste
A biblioteca AnyJev da Nokia enfrentou um desafio direto contra o Jev 1.13 e um modelo Qwen 8B bruto. O benchmark compreendeu 500 manchetes, divididas igualmente entre conteúdo satírico do The Onion e notícias reais, tudo processado em um MacBook Pro com chip M2 Max. Este teste avaliou rigorosamente a precisão, a velocidade e a calibração de confiança.
Jev alcançou uma taxa de precisão de 80%. O Qwen puro ficou significativamente atrás com 68,4%, com o AnyJev L0 apresentando um desempenho apenas marginalmente melhor, com 68,6%. Jev também dominou em velocidade, completando todas as 500 avaliações em 51 segundos, enquanto o Qwen local e o AnyJev L0 combinados levaram 4 minutos e 36 segundos, mesmo com recursos de GPU compartilhados.
A força central do AnyJev L0 surgiu na correção de viés, eliminando todas as inversões de resposta quando a ordem das opções mudava. O Qwen puro, em contraste, inverteu as respostas em 20 manchetes (4%), enquanto Jev apresentou 18 pequenas mudanças. Para mais detalhes técnicos, explore o repositório GitHub nokia-applied-research/AnyJev: Turn any LLM into a Jev-style decision model.
As métricas de confiança revelaram uma falha crítica no Qwen puro. Embora 87% de suas respostas ostentassem uma confiança ≥99%, ele estava incorreto em 30% dessas previsões altamente confiantes. O AnyJev L0 mitigou vieses posicionais e de rótulo, mas não melhorou a calibração nesta comparação específica, deixando Jev como a escolha superior para uma confiança calibrada.
Gostando do artigo? Receba um assim na sua caixa de entrada toda manhã.
um e-mail por dia · cancele em dois cliques · sem rastreadores de terceiros
A correção de viés pode consertar um teste — e quebrar outro
Os testes com manchetes revelaram a armadilha do AnyJev. O Qwen, com seu forte viés em direção à sátira, frequentemente classificava incorretamente notícias reais que soavam como The Onion. A calibração L0 padrão do AnyJev, usando batch prior, mal corrigiu as probabilidades extremas de 0% ou 100% do Qwen.
Aplicar content-free prior ao L0, no entanto, mostrou um resultado diferente. Essa correção mais forte ajudou o Qwen a reconhecer histórias reais que soavam satíricas, reduzindo sua inclinação de 69% de chamadas de sátira (em uma divisão 50/50) para um equilíbrio de 67% de sátira e 66% de notícias reais. Mas isso também classificou incorretamente algumas manchetes genuínas do Onion.
Corrigir a inclinação de rótulo de um modelo ajuda quando essa inclinação é prejudicial, mas pode exagerar quando a mistura de exemplos muda. O método não torna o modelo subjacente mais inteligente; ele apenas ajusta suas probabilidades de saída.
O AnyJev é atraente para decisões privadas, auto-hospedadas e baixos custos de API devido à sua licença Apache 2.0 e execução local. No entanto, faça o benchmark do AnyJev em seus próprios exemplos rotulados representativos antes da produção. Os resultados do vídeo — 80% de precisão para Jev versus 68,6% para o L0 do AnyJev — são específicos para um modelo, tarefa e configuração de teste, não um veredito universal.
Perguntas Frequentes
O que é o AnyJev?
AnyJev é uma biblioteca Python de código aberto da Nokia Applied Research que adiciona saídas em estilo de decisão a modelos de linguagem de pesos abertos.
Como o AnyJev toma uma decisão?
Ele verifica as probabilidades do próximo token do modelo para rótulos de resposta como A ou B, e então retorna probabilidades em vez de texto gerado.
O AnyJev superou o Jev no benchmark do vídeo?
Não. Em 500 manchetes, Jev obteve 80% de precisão, em comparação com 68,6% para o Qwen com a correção L0 padrão do AnyJev.
O AnyJev é gratuito para uso?
A biblioteca é gratuita sob a licença Apache 2.0. Executá-la localmente ainda requer recursos computacionais e um modelo de pesos abertos compatível.