Layaの機能
Layaは、Convai InnovationsがHugging FaceとGitHubで公開している、非自己回帰型の「System 1」判断モデルです。状態(テキスト、メール、サポートチケット、JSONオブジェクト)と型付きの質問群を与えると、生成テキストではなく、確率付きの型付き回答を返します。質問の種類は3つあります。noul(はい/いいえ)、choice(用意した選択肢から1つを選択)、score(順序尺度の評価)です。各選択肢は、それぞれのマーカートークンでスコア化され、その質問の選択肢全体で正規化されるため、再学習なしで新しい質問やラベルを定義でき、モデルがカテゴリを捏造したり不正な形式の出力を返したりすることはありません。出力には、確率、予測セット、棄権(abstain)またはレビューへのルーティングが含まれます。
チェックポイントは3つあります。英語モデル(ModernBERT-largeバックボーンと判断ヘッド、421Mパラメータ、512トークンのコンテキスト)、多言語モデル(mmBERT-base、322Mパラメータ、デフォルトで1,024トークン、最大8,192まで対応し、約4,000を超えると精度にばらつきが出ます)、そしてConvaiのベンチマークでファインチューニングされた型付き判断モデルです。Routerは、英語のテキストを英語チェックポイントに、それ以外を多言語チェックポイントに振り分けます。pip install layaでインストールでき(Python 3.10以降、CUDA、Apple MPS、XPUまたはCPU上のPyTorch)、laya-serveでHTTPエンドポイントを起動するか、CLIを使用できます。TypeScript、Go、Rust、Java、.NET、C++向けのSDKまたはクライアント、LangChain、LlamaIndex、CrewAIとの連携、MCPエクストラ、Hugging Face Spaceのデモ、Colabノートブックが用意されています。オプションのVegaエンジンにより、画像、音声、動画の入力が追加されます。
