Nokias Antwort auf den Boom bei KI-Entscheidungen
Generative Large Language Models (LLMs) erzeugen Text Token für Token, ein kreativer, aber oft unvorhersehbarer Prozess. Entscheidungsmodelle hingegen liefern strukturierte Ausgaben: Wahrscheinlichkeiten für vorgegebene Auswahlmöglichkeiten, Ja/Nein-Antworten oder numerische Bewertungen. Diese Unterscheidung ist entscheidend für Anwendungen, die deterministische, parse-freie Urteile anstelle von freier Textgenerierung erfordern.
Nokia Applied Research adressiert diesen Bedarf mit AnyJev, einer Apache 2.0 Python-Bibliothek. AnyJev fügt Modellen mit offenen Gewichten eine Entscheidungsebene hinzu, ohne dass ein Fine-Tuning oder gelabelte Trainingsdaten erforderlich sind. Es verwandelt ein generatives LLM in eine "System One"-Entscheidungsmaschine, die schnelle, strukturierte Auswertungen ermöglicht.
AnyJev konkurriert direkt mit Jev von TypeSafe AI, einer gehosteten Closed-Source-API. Jev verarbeitet etwa 310 Token pro Aufruf und kostet 0,042 $ pro Million Eingabe-Token. AnyJev hingegen läuft lokal auf Ihrer Infrastruktur ohne Kosten pro Aufruf und nutzt Ihre vorhandene Rechenleistung.
AnyJev unterstützt eine Reihe gängiger lokaler Inference-Backends:
- Hugging Face Transformers
- vLLM
- SGLang
- llama.cpp
Diese Flexibilität ermöglicht es Entwicklern, robuste Entscheidungsfähigkeiten direkt in ihre selbst gehosteten Modell-Deployments zu integrieren und dabei externe API-Abhängigkeiten sowie die damit verbundenen Kosten und Latenzen zu umgehen.
Der clevere Trick: das nächste Token lesen, nicht eine Antwort
Die Kerninnovation von AnyJev liegt im Prompt Engineering, nicht im Modelltraining. Es präsentiert einem bestehenden LLM einen Zustand (den Eingabetext) und eine Multiple-Choice-Frage, wobei die Optionen mit eindeutigen Labels wie "A" oder "B" formatiert werden. Anstatt dem Modell zu erlauben, eine Antwort in natürlicher Sprache zu generieren, fragt AnyJev direkt die Next-Token-Wahrscheinlichkeiten des Modells für diese spezifischen Options-Labels ab. Dies ruft direkt eine Wahrscheinlichkeitsverteilung über die Auswahlmöglichkeiten ab.
Diese Methode umgeht vollständig die Risiken von fehlerhaftem Text oder JSON-Parsing-Fehlern, die generativen LLM-Ausgaben innewohnen. Ein Modell kann eine einzelne Zeichenwahrscheinlichkeit nicht halluzinieren oder falsch formatieren. Eine sauber formatierte Wahrscheinlichkeit ist jedoch nicht von Natur aus korrekt oder vertrauenswürdig; sie spiegelt lediglich das rohe, unkorrigierte Urteil des Modells wider.
Um diese inhärenten Verzerrungen anzugehen, führt AnyJev die L0-Kalibrierung ein. L0 bekämpft Positionsverzerrungen, indem jede mögliche Reihenfolge der Optionen getestet und die Ergebnisse gemittelt werden, um sicherzustellen, dass keine Wahl durch ihre Platzierung einen unfairen Vorteil erhält. Es korrigiert auch Label-Bias, indem es die ursprüngliche Präferenz des Modells für bestimmte Labels unabhängig vom Inhalt schätzt und anpasst.
L0 bietet zwei Methoden zur Schätzung der Prior-Wahrscheinlichkeit: Batch Prior, das Antworten über eine Gruppe von Eingaben hinweg analysiert, und Content-free Prior, das die Verzerrung anhand einer Eingabe ohne tatsächlichen Inhalt schätzt. Diese zweite Methode ist entscheidend für Urteile über einzelne Schlagzeilen und bietet eine robustere Bias-Korrektur, wenn keine Batch-Daten verfügbar sind. L0 verbessert die Entscheidungszuverlässigkeit erheblich, ohne dass gelabelte Trainingsdaten erforderlich sind.
500 Schlagzeilen später: Jev gewinnt immer noch den großen Test
Die AnyJev-Bibliothek von Nokia stellte sich einem direkten Vergleich mit Jev 1.13 und einem rohen Qwen 8B-Modell. Der Benchmark umfasste 500 Schlagzeilen, gleichmäßig aufgeteilt auf satirische Inhalte von The Onion und echte Nachrichten, die alle auf einem M2 Max MacBook Pro verarbeitet wurden. Dieser Test bewertete rigoros Genauigkeit, Geschwindigkeit und Konfidenzkalibrierung.
Jev erreichte eine Genauigkeitsrate von 80 %. Raw Qwen lag mit 68,4 % deutlich dahinter, während AnyJev L0 mit 68,6 % nur geringfügig besser abschnitt. Jev dominierte auch bei der Geschwindigkeit und absolvierte alle 500 Auswertungen in 51 Sekunden, während das lokale Qwen und AnyJev L0 zusammen 4 Minuten und 36 Sekunden benötigten, selbst bei gemeinsam genutzten GPU-Ressourcen.
Die Kernstärke von AnyJev L0 zeigte sich bei der Bias-Korrektur, wodurch alle Antwortwechsel bei geänderter Reihenfolge der Optionen eliminiert wurden. Raw Qwen hingegen änderte bei 20 Schlagzeilen (4 %) die Antworten, während Jev 18 geringfügige Verschiebungen aufwies. Weitere technische Details finden Sie im GitHub-Repository nokia-applied-research/AnyJev: Turn any LLM into a Jev-style decision model.
Konfidenzmetriken enthüllten einen kritischen Fehler bei Raw Qwen. Obwohl 87 % seiner Antworten eine Konfidenz von ≥99 % aufwiesen, lag es bei 30 % dieser hochkonfidenten Vorhersagen falsch. AnyJev L0 milderte zwar Positions- und Label-Biases ab, verbesserte jedoch in diesem spezifischen Vergleich die Kalibrierung nicht, was Jev zur überlegenen Wahl für kalibrierte Konfidenz macht.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Bias-Korrektur kann einen Test reparieren – und einen anderen zerstören
Schlagzeilen-Tests zeigten den Haken bei AnyJev. Qwen, mit seinem starken Hang zur Satire, klassifizierte oft echte Nachrichten, die wie The Onion klangen, falsch. Die standardmäßige L0-Kalibrierung von AnyJev, die batch prior verwendet, korrigierte Qwens extreme 0%- oder 100%-Wahrscheinlichkeiten kaum.
Die Anwendung von content-free prior auf L0 zeigte jedoch ein anderes Ergebnis. Diese stärkere Korrektur half Qwen dabei, echte Geschichten zu erkennen, die satirisch klangen, und reduzierte seine Tendenz von 69 % Satire-Einstufungen (bei einer 50/50-Verteilung) auf ausgewogenere 67 % Satire und 66 % echte Nachrichten. Dies führte jedoch auch dazu, dass einige echte Onion-Schlagzeilen falsch klassifiziert wurden.
Die Korrektur der Label-Tendenz eines Modells hilft, wenn diese Tendenz schädlich ist, kann aber übers Ziel hinausschießen, wenn sich die Mischung der Beispiele ändert. Die Methode macht das zugrunde liegende Modell nicht intelligenter; sie passt lediglich dessen Ausgabewahrscheinlichkeiten an.
AnyJev ist aufgrund seiner Apache 2.0-Lizenz und der lokalen Ausführung überzeugend für private, selbst gehostete Entscheidungen und niedrige API-Kosten. Testen Sie AnyJev jedoch vor dem produktiven Einsatz mit Ihren eigenen repräsentativen, gelabelten Beispielen. Die Ergebnisse des Videos – 80 % Genauigkeit für Jev gegenüber 68,6 % für AnyJevs L0 – sind spezifisch für ein Modell, eine Aufgabe und ein Test-Setup, kein universelles Urteil.
Häufig gestellte Fragen
Was ist AnyJev?
AnyJev ist eine Open-Source-Python-Bibliothek von Nokia Applied Research, die Open-Weight-Sprachmodellen Ausgaben im Entscheidungsstil hinzufügt.
Wie trifft AnyJev eine Entscheidung?
Es überprüft die Wahrscheinlichkeiten des nächsten Tokens des Modells für Antwort-Labels wie A oder B und gibt dann Wahrscheinlichkeiten anstelle von generiertem Text zurück.
Hat AnyJev im Benchmark des Videos besser abgeschnitten als Jev?
Nein. Bei 500 Schlagzeilen erreichte Jev eine Genauigkeit von 80 %, verglichen mit 68,6 % bei Qwen mit der standardmäßigen L0-Korrektur von AnyJev.
Ist AnyJev kostenlos nutzbar?
Die Bibliothek ist unter der Apache 2.0-Lizenz kostenlos. Die lokale Ausführung erfordert weiterhin Rechenressourcen und ein kompatibles Open-Weight-Modell.