Le rival gratuit de Jev par Nokia a un piège

Les modèles de langage génératifs (LLM) produisent du texte jeton par jeton, un processus créatif mais souvent imprévisible. Les modèles de décision, en revanche, renvoient des sorties structurées : des probabilités pour des choix typés, des réponses oui/non ou des scores numériques. Cette distinction est critique pour les applications exigeant des jugements déterministes sans analyse syntaxique par rapport à la génération de texte libre.

Nokia Applied Research répond à ce besoin avec AnyJev, une bibliothèque Python sous licence Apache 2.0. AnyJev ajoute une couche de décision aux modèles à poids ouverts sans nécessiter de réglage fin (fine-tuning) ni de données d'entraînement étiquetées. Il transforme un LLM génératif en un moteur de décision « Système 1 », permettant des évaluations rapides et structurées.

AnyJev concurrence directement Jev de TypeSafe AI, une API hébergée et fermée. Jev traite environ 310 jetons par appel, coûtant 0,042 $ par million de jetons en entrée. AnyJev, cependant, s'exécute localement sur votre infrastructure sans coût par appel, en tirant parti de votre puissance de calcul existante.

AnyJev prend en charge une gamme de backends d'inférence locaux populaires :

• Hugging Face Transformers
• vLLM
• SGLang
• llama.cpp

Cette flexibilité permet aux développeurs d'intégrer des capacités de prise de décision robustes directement dans leurs déploiements de modèles auto-hébergés, en contournant les dépendances aux API externes ainsi que leurs coûts et latences associés.

L'innovation principale d'AnyJev réside dans l'ingénierie de prompt, et non dans l'entraînement du modèle. Il présente un état (le texte d'entrée) et une question à choix multiples à un LLM existant, en formatant les options avec des étiquettes distinctes comme « A » ou « B ». Au lieu de permettre au modèle de générer une réponse en langage naturel, AnyJev interroge directement les probabilités du jeton suivant du modèle pour ces étiquettes d'option spécifiques. Cela récupère directement une distribution de probabilité sur les choix.

Cette méthode contourne complètement les risques de texte mal formé ou d'échecs d'analyse JSON inhérents aux sorties des LLM génératifs. Un modèle ne peut pas halluciner ou mal formater une probabilité de caractère unique. Cependant, une probabilité correctement formatée n'est pas intrinsèquement correcte ou digne de confiance ; elle reflète simplement le jugement brut et non corrigé du modèle.

Pour remédier à ces biais inhérents, AnyJev introduit le calibrage L0. L0 s'attaque au biais de position en testant chaque ordre possible des options et en faisant la moyenne des résultats, garantissant qu'aucun choix ne bénéficie d'un avantage injuste dû à son placement. Il corrige également le biais d'étiquette en estimant et en ajustant la préférence préalable du modèle pour certaines étiquettes, indépendamment du contenu.

L0 propose deux méthodes d'estimation a priori : le batch prior, qui analyse les réponses sur un lot d'entrées, et le content-free prior, qui estime le biais à partir d'une entrée dépourvue de contenu réel. Cette seconde méthode est cruciale pour les jugements sur un seul titre, offrant une correction de biais plus robuste lorsque les données par lots ne sont pas disponibles. L0 améliore considérablement la fiabilité des décisions sans nécessiter de données d'entraînement étiquetées.

La bibliothèque AnyJev de Nokia a fait face à un défi direct contre Jev 1.13 et un modèle Qwen 8B brut. Le benchmark comprenait 500 titres, répartis équitablement entre du contenu satirique de The Onion et de vraies actualités, le tout traité sur un MacBook Pro M2 Max. Ce test a rigoureusement évalué la précision, la vitesse et le calibrage de la confiance.

Jev a atteint un taux de précision de 80 %. Le modèle Raw Qwen est arrivé loin derrière avec 68,4 %, et AnyJev L0 n'a fait que légèrement mieux avec 68,6 %. Jev a également dominé en termes de vitesse, terminant les 500 évaluations en 51 secondes, tandis que le Qwen local et AnyJev L0 ont mis ensemble 4 minutes et 36 secondes, même avec des ressources GPU partagées.

La force principale d'AnyJev L0 est apparue dans la correction des biais, éliminant toutes les inversions de réponses lorsque l'ordre des options changeait. Raw Qwen, en revanche, a inversé ses réponses sur 20 titres (4 %), tandis que Jev a connu 18 changements mineurs. Pour plus de détails techniques, explorez le dépôt GitHub nokia-applied-research/AnyJev: Turn any LLM into a Jev-style decision model.

Les mesures de confiance ont révélé une faille critique dans Raw Qwen. Bien que 87 % de ses réponses affichaient une confiance ≥99 %, il s'est trompé sur 30 % de ces prédictions hautement confiantes. AnyJev L0 a atténué les biais de position et d'étiquette mais n'a pas amélioré le calibrage dans cette comparaison spécifique, faisant de Jev le meilleur choix pour une confiance calibrée.

Les essais sur les titres ont révélé le piège d'AnyJev. Qwen, avec son fort biais envers la satire, a souvent mal classé de vraies nouvelles qui ressemblaient à The Onion. Le calibrage L0 par défaut d'AnyJev, utilisant le batch prior, a à peine corrigé les probabilités extrêmes de 0 % ou 100 % de Qwen.

L'application du content-free prior à L0 a cependant montré un résultat différent. Cette correction plus forte a aidé Qwen à reconnaître les vraies histoires qui semblaient satiriques, réduisant son penchant de 69 % d'appels à la satire (sur une répartition 50/50) à un équilibre plus juste de 67 % de satire et 66 % de vraies nouvelles. Mais cela a également conduit à mal classer certains titres authentiques de The Onion.

Corriger le penchant d'un modèle pour une étiquette aide lorsque ce penchant est nuisible, mais peut être excessif lorsque le mélange d'exemples change. La méthode ne rend pas le modèle sous-jacent plus intelligent ; elle ajuste simplement ses probabilités de sortie.

AnyJev est convaincant pour les décisions privées, auto-hébergées et les faibles coûts d'API grâce à sa licence Apache 2.0 et son exécution locale. Cependant, testez AnyJev sur vos propres exemples étiquetés représentatifs avant toute mise en production. Les résultats de la vidéo — 80 % de précision pour Jev contre 68,6 % pour le L0 d'AnyJev — sont spécifiques à un modèle, une tâche et une configuration de test donnés, et ne constituent pas un verdict universel.

Qu'est-ce qu'AnyJev ?

AnyJev est une bibliothèque Python open-source de Nokia Applied Research qui ajoute des sorties de type décisionnel aux modèles de langage à poids ouverts.

Comment AnyJev prend-il une décision ?

Il vérifie les probabilités du prochain jeton (token) du modèle pour les étiquettes de réponse telles que A ou B, puis renvoie des probabilités au lieu du texte généré.

AnyJev a-t-il surpassé Jev dans le benchmark de la vidéo ?

Non. Sur 500 titres, Jev a obtenu 80 % de précision, contre 68,6 % pour Qwen avec la correction L0 par défaut d'AnyJev.

AnyJev est-il gratuit ?

La bibliothèque est gratuite sous licence Apache 2.0. L'exécuter localement nécessite toujours des ressources de calcul et un modèle à poids ouverts compatible.