AI意思決定ブームに対するNokiaの回答
生成AIである大規模言語モデル（LLM）は、トークン単位でテキストを生成しますが、これは創造的である一方、予測不可能なプロセスになりがちです。対照的に、意思決定モデルは、型指定された選択肢の確率、イエス/ノーの回答、数値スコアといった構造化された出力を返します。この違いは、自由形式のテキスト生成よりも、決定的で解析不要な判断を必要とするアプリケーションにとって極めて重要です。
Nokia Applied Researchは、Apache 2.0ライセンスのPythonライブラリであるAnyJevでこのニーズに応えます。AnyJevは、ファインチューニングやラベル付き学習データを必要とせずに、オープンウェイトモデルに意思決定レイヤーを追加します。これにより、生成LLMを「システム1」の意思決定エンジンへと変貌させ、迅速かつ構造化された評価を可能にします。
AnyJevは、TypeSafe AIのJev（ホスト型クローズドソースAPI）と直接競合します。Jevは1コールあたり約310トークンを処理し、入力トークン100万あたり0.042ドルのコストがかかります。一方、AnyJevは既存のコンピューティングリソースを活用し、ユーザーのインフラ上でローカルに実行されるため、コールごとのコストはゼロです。
AnyJevは、以下の一般的なローカル推論バックエンドをサポートしています：
- Hugging Face Transformers
- vLLM
- SGLang
- llama.cpp
この柔軟性により、開発者は外部APIへの依存やそれに伴うコスト、レイテンシを回避し、堅牢な意思決定機能を自己ホスト型のモデルデプロイメントに直接統合できます。
巧妙なトリック：回答ではなく次のトークンを読み取る
AnyJevの核心的な革新は、モデルのトレーニングではなくプロンプトエンジニアリングにあります。AnyJevは、状態（入力テキスト）と多肢選択式の質問を既存のLLMに提示し、「A」や「B」といった明確なラベルで選択肢をフォーマットします。モデルに自然言語での回答を生成させるのではなく、AnyJevはこれらの特定の選択肢ラベルに対するモデルの次トークン確率を直接クエリします。これにより、選択肢全体にわたる確率分布を直接取得します。
この手法は、生成LLMの出力に固有の、不正なテキストやJSON解析エラーのリスクを完全に回避します。モデルが単一の文字確率をハルシネーション（幻覚）したり、誤った形式で出力したりすることは不可能です。ただし、きれいにフォーマットされた確率が本質的に正しく信頼できるとは限りません。それは単に、モデルの未修正の生の判断を反映しているに過ぎません。
これらの固有のバイアスに対処するため、AnyJevはL0キャリブレーションを導入しています。L0は、選択肢のあらゆる順序をテストして結果を平均化することで位置バイアスに取り組み、配置による不公平な優位性を排除します。また、コンテンツに関係なく特定のラベルに対するモデルの事前の選好を推定・調整することで、ラベルバイアスも補正します。
L0は2つの事前推定手法を提供します。入力のバッチ全体で回答を分析する「batch prior」と、実際のコンテンツを含まない入力からバイアスを推定する「content-free prior」です。この2番目の手法は、単一の見出しに対する判断において重要であり、バッチデータが利用できない場合に、より堅牢なバイアス補正を提供します。L0は、ラベル付き学習データを必要とせずに、意思決定の信頼性を大幅に向上させます。
500件の見出しを経て、Jevが依然として大規模テストで勝利
NokiaのAnyJevライブラリは、Jev 1.13および生のQwen 8Bモデルとの直接対決に臨みました。ベンチマークは、The Onionの風刺コンテンツと実際のニュースを均等に分けた500件の見出しで構成され、すべてM2 Max搭載のMacBook Pro上で処理されました。このテストでは、精度、速度、および信頼性のキャリブレーションが厳密に評価されました。
Jevは80%の正解率を達成しました。Raw Qwenは68.4%と大きく引き離され、AnyJev L0も68.6%とわずかな改善にとどまりました。速度面でもJevが圧倒しており、500件の評価を51秒で完了したのに対し、ローカルのQwenとAnyJev L0はGPUリソースを共有しても合計で4分36秒を要しました。
AnyJev L0の核心的な強みはバイアス補正にあり、選択肢の順序が入れ替わった際の回答の反転を完全に排除しました。対照的に、Raw Qwenは20件のヘッドライン（4%）で回答が反転し、Jevでも18件の軽微な変化が見られました。技術的な詳細については、GitHubリポジトリ nokia-applied-research/AnyJev: Turn any LLM into a Jev-style decision model をご覧ください。
信頼度メトリクスにより、Raw Qwenの重大な欠陥が明らかになりました。回答の87%が99%以上の信頼度を誇っていたものの、その高信頼度予測の30%で誤答していました。AnyJev L0は位置バイアスやラベルバイアスを軽減しましたが、この特定の比較においてキャリブレーション（較正）を改善することはできず、キャリブレーションされた信頼度においてはJevが優れた選択肢であることが示されました。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
バイアス補正は一つのテストを修正できても、別のテストを壊す可能性がある
ヘッドラインの試行により、AnyJevの落とし穴が明らかになりました。風刺に対する強いバイアスを持つQwenは、『The Onion』のように聞こえる実際のニュースを誤分類することがよくありました。batch priorを使用したAnyJevのデフォルトのL0キャリブレーションでは、Qwenの極端な0%または100%の確率をほとんど補正できませんでした。
しかし、L0にcontent-free priorを適用すると、異なる結果が得られました。この強力な補正により、Qwenは風刺のように聞こえる実際の記事を認識できるようになり、その傾向は（50/50の分割において）69%の風刺判定から、67%の風刺と66%の実際のニュースというよりバランスの取れたものへと改善されました。ただし、これは本物の『The Onion』のヘッドラインをいくつか誤分類する結果にもなりました。
モデルのラベルの偏りを修正することは、その偏りが有害な場合には役立ちますが、例の構成が変わると過剰修正になる可能性があります。この手法は基盤となるモデルを賢くするわけではなく、単に出力確率を調整するだけです。
AnyJevは、Apache 2.0ライセンスとローカル実行が可能であるため、プライベートで自己ホスト型の意思決定や低いAPIコストを求める場合に魅力的です。しかし、本番環境で使用する前に、代表的なラベル付きの例を用いてAnyJevをベンチマークしてください。動画の結果（Jevの80%に対し、AnyJev L0は68.6%）は特定のモデル、タスク、テスト設定に基づくものであり、普遍的な結論ではありません。
よくある質問
AnyJevとは何ですか？
AnyJevは、Nokia Applied Researchが開発したオープンソースのPythonライブラリで、オープンウェイトの言語モデルに意思決定スタイルの出力を追加するものです。
AnyJevはどのように意思決定を行いますか？
モデルのAやBといった回答ラベルに対する次トークンの確率をチェックし、生成されたテキストの代わりに確率を返します。
動画のベンチマークでAnyJevはJevを上回りましたか？
いいえ。500件のヘッドラインにおいて、Jevは80%の正解率を記録したのに対し、AnyJevのデフォルトL0補正を使用したQwenは68.6%でした。
AnyJevは無料で使用できますか？
このライブラリはApache 2.0ライセンスの下で無料です。ローカルで実行するには、引き続き計算リソースと互換性のあるオープンウェイトモデルが必要です。