Laya im Test

Laya ist ein nicht-autoregressives „System 1“-Entscheidungsmodell, das von Convai Innovations auf Hugging Face und GitHub veröffentlicht wird. Sie übergeben ihm einen Zustand (einen Text, eine E-Mail, ein Support-Ticket oder ein JSON-Objekt) und eine Reihe typisierter Fragen, und es liefert statt generierten Texts typisierte Antworten mit Wahrscheinlichkeiten. Es gibt drei Fragetypen: noul (Ja/Nein), choice (eine Ihrer Optionen auswählen) und score (eine ordinale Bewertung). Jede Option wird an ihrem eigenen Marker-Token bewertet und über die Optionen der jeweiligen Frage normalisiert. So können Sie neue Fragen und Labels ohne erneutes Training definieren, und das Modell kann weder eine Kategorie erfinden noch fehlerhafte Ausgaben zurückgeben. Die Ausgaben umfassen Wahrscheinlichkeiten, Prediction Sets sowie Abstain- bzw. Review-Routing.

Es gibt drei Checkpoints: ein englisches Modell (ModernBERT-large-Backbone plus Decision Head, 421M Parameter, Kontext von 512 Tokens), ein multilinguales Modell (mmBERT-base, 322M Parameter, standardmäßig 1.024 Tokens, bis zu 8.192, wobei die Genauigkeit jenseits von etwa 4.000 schwankt) und ein auf Convais Benchmark feinabgestimmtes Modell für typisierte Entscheidungen. Ein Router leitet englischen Text an den englischen Checkpoint und alles andere an den multilingualen weiter. Die Installation erfolgt mit pip install laya (Python 3.10+, PyTorch auf CUDA, Apple MPS, XPU oder CPU); für einen HTTP-Endpunkt starten Sie laya-serve, alternativ nutzen Sie die CLI. Es gibt SDKs oder Clients für TypeScript, Go, Rust, Java, .NET und C++, Integrationen für LangChain, LlamaIndex und CrewAI, ein MCP-Extra, eine Demo als Hugging Face Space und ein Colab-Notebook. Eine optionale Vega-Engine ergänzt Bild-, Audio- und Videoeingaben.

Laya ist kostenlos und Open Source unter der Apache-2.0-Lizenz; die Model Card nennt die Kosten mit „$0 self-hosted“. Convai Innovations führt keine gehostete, kostenpflichtige Laya-API auf, sodass Ihnen lediglich Kosten für Ihre eigene Hardware oder Cloud-Rechenleistung entstehen. Zur Einordnung: Die Benchmarks der Card liefen auf einer einzelnen Tesla T4 GPU, die CPU-Latenz mit Preloading beträgt 193 bis 464 ms pro Aufruf, und die Downloads umfassen etwa 808 MB (Englisch) und 647 MB (multilingual). Die Fine-Tuning-Rezepte zielen auf die kostenlosen 2x T4 GPUs von Kaggle.

Preise geprüft auf der Modellseite des Anbieters am 10. November 2026. Siehe die Laya Model Card.

Was die Laya Model Card und das Repository aufführen:

Laya eignet sich für Entwickler, die hochvolumige Klassifizierung, Triage und Weiterleitung betreiben (Support-Tickets, Intent, Spam, Moderationsmarkierungen) und schnelle, strukturierte Antworten möchten, die sie unter einer permissiven Lizenz selbst hosten können, auch in Air-Gap-Umgebungen. Am besten passt es, wenn Sie einige hundert Beispiele aus Ihrer eigenen Domäne labeln können: Laut Model Card liegen die Basis-Checkpoints im Benchmark für typisierte Entscheidungen im Zero-Shot-Betrieb nahe am Zufallsniveau (0,362 Genauigkeit) und erreichen erst nach dem Fine-Tuning 0,766, die Genauigkeit sinkt bei Fragen mit vielen Optionen (0,425 beim Banking77-Set mit 77 Labels), und die Wahrscheinlichkeiten sollten anhand Ihrer eigenen Daten neu kalibriert werden.

Wenn Sie eine gehostete Entscheidungs-API suchen, die ohne Fine-Tuning funktioniert, vergleichen Sie Jev von TypeSafe, das die Model Card als Benchmark verwendet. Für klassische NLP-Pipelines mit trainierbaren Textklassifikatoren siehe spaCy. Wenn Sie freies Schlussfolgern oder generierte Erklärungen benötigen, ist eine allgemeine LLM-API das bessere Werkzeug.

Nutzerbewertungen sind selten; die bisherige Berichterstattung stammt aus Tech-Newslettern, die die Model Card zusammenfassen. i-SCOOP (29. September 2026) schreibt Laya feste Antwortoptionen zu, die weder erfunden noch fehlerhaft sein können, Gewichte unter Apache 2.0, die lokal laufen können, sowie starke Ergebnisse bei binären Sicherheitsaufgaben, nennt es aber „a fast base to specialise“ statt einer Zero-Shot-Engine und verweist auf die schwache Genauigkeit der Basis-Checkpoints, einen starken Einbruch bei vielen Labels, anfällige Verneinungsverarbeitung und überkonfidente Wahrscheinlichkeiten. Es regt an, dass Teams, die breite Genauigkeit ohne Fine-Tuning benötigen, mit einer gehosteten Option wie Jev möglicherweise leichter starten. AI Weekly berichtete über die Veröffentlichung als ein ModernBERT-Entscheidungsmodell mit 421M Parametern unter Apache 2.0. Alle oben genannten Geschwindigkeits- und Genauigkeitswerte stammen von Convai selbst und wurden auf einer T4 gemessen; die Jev-Werte in der Card sind von Dritten veröffentlicht und wurden nicht von Convai gemessen.