La respuesta de Nokia al auge de la toma de decisiones mediante IA
Los modelos de lenguaje grandes (LLM) generativos producen texto token a token, un proceso creativo pero a menudo impredecible. Los modelos de decisión, por el contrario, devuelven resultados estructurados: probabilidades para opciones tipificadas, respuestas de sí/no o puntuaciones numéricas. Esta distinción es fundamental para aplicaciones que exigen juicios deterministas y sin necesidad de análisis sintáctico, en lugar de la generación de texto de forma libre.
Nokia Applied Research aborda esta necesidad con AnyJev, una biblioteca de Python con licencia Apache 2.0. AnyJev añade una capa de decisión a los modelos de pesos abiertos sin necesidad de ajuste fino (fine-tuning) ni datos de entrenamiento etiquetados. Transforma un LLM generativo en un motor de decisión de "Sistema Uno", permitiendo evaluaciones rápidas y estructuradas.
AnyJev compite directamente con Jev de TypeSafe AI, una API alojada de código cerrado. Jev procesa aproximadamente 310 tokens por llamada, con un coste de 0,042 dólares por millón de tokens de entrada. AnyJev, sin embargo, se ejecuta localmente en su infraestructura con un coste por llamada de cero, aprovechando su capacidad de cómputo existente.
AnyJev admite una gama de backends de inferencia locales populares:
- Hugging Face Transformers
- vLLM
- SGLang
- llama.cpp
Esta flexibilidad permite a los desarrolladores integrar capacidades sólidas de toma de decisiones directamente en sus despliegues de modelos autohospedados, evitando las dependencias de API externas y sus costes y latencias asociados.
El truco ingenioso: leer el siguiente token, no una respuesta
La innovación principal de AnyJev reside en la ingeniería de prompts, no en el entrenamiento de modelos. Presenta un estado (el texto de entrada) y una pregunta de opción múltiple a un LLM existente, formateando las opciones con etiquetas distintas como "A" o "B". En lugar de permitir que el modelo genere una respuesta en lenguaje natural, AnyJev consulta directamente las probabilidades del siguiente token del modelo para estas etiquetas de opción específicas. Esto recupera directamente una distribución de probabilidad entre las opciones.
Este método evita por completo los riesgos de texto mal formado o fallos de análisis JSON inherentes a las salidas de los LLM generativos. Un modelo no puede alucinar ni formatear incorrectamente la probabilidad de un solo carácter. Sin embargo, una probabilidad formateada limpiamente no es intrínsecamente correcta o confiable; simplemente refleja el juicio crudo y sin corregir del modelo.
Para abordar estos sesgos inherentes, AnyJev introduce la calibración L0. L0 aborda el sesgo de posición probando cada orden posible de las opciones y promediando los resultados, asegurando que ninguna opción obtenga una ventaja injusta por su ubicación. También corrige el sesgo de etiqueta estimando y ajustando la preferencia previa del modelo por ciertas etiquetas, independientemente del contenido.
L0 ofrece dos métodos de estimación previa: batch prior, que analiza las respuestas a través de un lote de entradas, y content-free prior, que estima el sesgo a partir de una entrada desprovista de contenido real. Este segundo método es crucial para juicios de titulares individuales, proporcionando una corrección de sesgo más robusta cuando los datos por lotes no están disponibles. L0 mejora significativamente la fiabilidad de las decisiones sin requerir ningún dato de entrenamiento etiquetado.
500 titulares después, Jev sigue ganando la gran prueba
La biblioteca AnyJev de Nokia se enfrentó a un desafío directo contra Jev 1.13 y un modelo Qwen 8B sin procesar. El benchmark comprendió 500 titulares, divididos equitativamente entre contenido satírico de The Onion y noticias reales, todo procesado en un MacBook Pro con chip M2 Max. Esta prueba evaluó rigurosamente la precisión, la velocidad y la calibración de la confianza.
Jev logró una tasa de precisión del 80%. Raw Qwen quedó significativamente atrás con un 68.4%, mientras que AnyJev L0 tuvo un rendimiento apenas ligeramente superior con un 68.6%. Jev también dominó en velocidad, completando las 500 evaluaciones en 51 segundos, mientras que el Qwen local y AnyJev L0 combinados tardaron 4 minutos y 36 segundos, incluso con recursos de GPU compartidos.
La fortaleza principal de AnyJev L0 surgió en la corrección de sesgos, eliminando todas las inversiones de respuesta cuando cambiaba el orden de las opciones. Raw Qwen, por el contrario, invirtió las respuestas en 20 titulares (4%), mientras que Jev mostró 18 cambios menores. Para obtener más detalles técnicos, explore el repositorio de GitHub nokia-applied-research/AnyJev: Turn any LLM into a Jev-style decision model.
Las métricas de confianza revelaron un fallo crítico en Raw Qwen. Aunque el 87% de sus respuestas presumían una confianza ≥99%, fue incorrecto en el 30% de esas predicciones altamente confiadas. AnyJev L0 mitigó los sesgos posicionales y de etiquetas, pero no mejoró la calibración en esta comparación específica, dejando a Jev como la opción superior para una confianza calibrada.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
La corrección de sesgos puede arreglar una prueba y arruinar otra
Las pruebas con titulares revelaron el inconveniente de AnyJev. Qwen, con su fuerte sesgo hacia la sátira, a menudo clasificaba erróneamente noticias reales que sonaban como The Onion. La calibración L0 predeterminada de AnyJev, usando batch prior, apenas corrigió las probabilidades extremas de 0% o 100% de Qwen.
Sin embargo, aplicar content-free prior a L0 mostró un resultado diferente. Esta corrección más fuerte ayudó a Qwen a reconocer historias reales que sonaban satíricas, reduciendo su inclinación del 69% de llamadas de sátira (en una división 50/50) a un 67% de sátira y 66% de noticias reales más equilibrado. Pero esto también clasificó erróneamente algunos titulares genuinos de The Onion.
Corregir la inclinación de etiquetas de un modelo ayuda cuando esa inclinación es perjudicial, pero puede excederse cuando la mezcla de ejemplos cambia. El método no hace que el modelo subyacente sea más inteligente; simplemente ajusta sus probabilidades de salida.
AnyJev es convincente para decisiones privadas, autohospedadas y bajos costos de API debido a su licencia Apache 2.0 y ejecución local. Sin embargo, evalúe AnyJev con sus propios ejemplos etiquetados representativos antes de pasar a producción. Los resultados del video (80% de precisión para Jev frente al 68.6% para L0 de AnyJev) son específicos para un modelo, tarea y configuración de prueba, no un veredicto universal.
Preguntas frecuentes
¿Qué es AnyJev?
AnyJev es una biblioteca de Python de código abierto de Nokia Applied Research que añade salidas de estilo de decisión a modelos de lenguaje de pesos abiertos.
¿Cómo toma una decisión AnyJev?
Comprueba las probabilidades del siguiente token del modelo para etiquetas de respuesta como A o B, y luego devuelve probabilidades en lugar de texto generado.
¿Superó AnyJev a Jev en la prueba comparativa del video?
No. En 500 titulares, Jev obtuvo un 80% de precisión, en comparación con el 68.6% de Qwen con la corrección L0 predeterminada de AnyJev.
¿Es AnyJev de uso gratuito?
La biblioteca es gratuita bajo la licencia Apache 2.0. Ejecutarla localmente aún requiere recursos de cómputo y un modelo de pesos abiertos compatible.