Skip to content
Stork.AIstork.ai
KI-Werkzeug

Bonsai 27B Bewertung

Bonsai 27B ist ein von PrismML entwickeltes großes Sprachmodell mit 27 Milliarden Parametern, das vollständig auf einem Smartphone und komplett offline läuft.

shipped 17. Juli 2026aifreemium
ai
Bonsai 27B — product screenshot

Warum es wichtig ist

1Bonsai 27B ist ein multimodales KI-Modell mit 27 Milliarden Parametern, basierend auf Qwen3.6 27B.
2Es läuft vollständig auf einem Smartphone, komplett offline, mit einer 1-Bit-Variante von ca. 3,9 GB.
3PrismML behauptet, dass 1-Bit Bonsai 27B über die 10-fache Intelligenzdichte seiner Full-Precision-Baseline liefert.
4Das Modell unterstützt ein Kontextfenster von 262.144 Tokens und nutzt eine Hybrid-Attention-Architektur.

Über Bonsai 27B

Preispläne

Bonsai 27B (Ternary)
  • • 5.9GB optimized for laptops
  • • Multi-step reasoning
  • • Tool calling
  • • Agentic workflows
Bonsai 27B (1-bit)
  • • 3.9GB for mobile devices
Bonsai Image
Bonsai 1.7B
Bonsai 4B
Bonsai 8B

Führungsteam

Unknown
API Docs

Spezifikationen

API-Dokumentation

Dokumentation ansehen →

GitHub

Repository ansehen →

API verfügbar

Ja, öffentliche API

overview

Was ist Bonsai 27B?

Bonsai 27B ist ein von PrismML entwickeltes großes Sprachmodell-Tool, das es Endgeräten ermöglicht, fortschrittliche KI-Workloads lokal und offline auszuführen. Es verarbeitet sowohl Text- als auch Bildeingaben und unterstützt komplexes Denken und multimodales Verständnis. Am 14. Juli 2026 eingeführt, stellt es PrismMLs größtes und leistungsfähigstes Bonsai-Modell bis heute dar, das für extreme Komprimierung entwickelt wurde, um auf Smartphones und Laptops zu funktionieren.

features

Hauptmerkmale von Bonsai 27B

Bonsai 27B wurde für die On-Device-KI-Inferenz entwickelt und bietet erhebliche Komprimierungs- und Leistungsoptimierungen. Es umfasst zwei Varianten, die auf verschiedene Bereitstellungsszenarien zugeschnitten sind, und integriert multimodale Funktionen für die Verarbeitung vielfältiger Eingaben.

  • Zwei Varianten: 1-Bit Bonsai 27B (3,9 GB) für Mobilgeräte und Ternary Bonsai 27B (5,9 GB ideal, ~7,2 GB bereitgestelltes GGUF) für Laptops/Desktops.
  • End-to-End Low-Bit-Quantisierung: Wendet eine Low-Bit-Darstellung über das gesamte Sprachnetzwerk an, einschließlich Embeddings, Attention, MLPs und des LM-Kopfes.
  • Multimodale Funktionen: Verfügt über einen kompakten 4-Bit-Vision-Tower zur Verarbeitung von Bildern, Screenshots, Dokumenten und Kameraeingaben direkt auf dem Gerät.
  • Umfassendes Kontextfenster: Unterstützt einen Kontext von 262.144 Tokens, ermöglicht durch eine Hybrid-Attention-Architektur mit 75% linearen Attention-Layern.
  • Speculative Decoding (DSpark): Verbessert die Inferenzgeschwindigkeit und -effizienz.
  • Offline-Betrieb: Funktioniert vollständig ohne Internetverbindung.
  • Reduzierter Speicherbedarf: Erreicht einen 14-fach geringeren Speicherverbrauch im Vergleich zu herkömmlichen Modellen.
  • Schnellere Leistung: Bietet eine 8-fach schnellere Leistung für On-Device-Aufgaben.
  • Geringerer Energieverbrauch: Verbraucht 5-mal weniger Energie, optimiert die Akkulaufzeit des Geräts.

use cases

Wer sollte Bonsai 27B nutzen?

Bonsai 27B wurde für Entwickler und Organisationen entwickelt, die fortschrittliche KI-Funktionen direkt auf Endgeräten benötigen und dabei Datenschutz, Offline-Funktionalität und effiziente Ressourcennutzung priorisieren.

  • Entwickler, die datenschutzsensible Anwendungen erstellen, die eine lokale Datenverarbeitung erfordern.
  • Benutzer, die KI-Funktionalität in Umgebungen ohne ständige Internetverbindung benötigen.
  • Softwareentwickler, die On-Device-Tools für Codierung, Debugging und agentische Workflows suchen.
  • Anwendungen, die mehrstufiges Denken, Planung und komplexe Problemlösung auf Edge-Geräten erfordern.
  • Systeme, die multimodale Eingaben wie Screenshots, Dokumente und Kamera-Feeds direkt auf dem Gerät verarbeiten.

how to use

Wie man Bonsai 27B verwendet

Bonsai 27B kann durch Herunterladen seiner Modellgewichte für die lokale Bereitstellung oder über eine Developer Preview API genutzt werden. Seine zwei Varianten ermöglichen die Optimierung über verschiedene Hardwareplattformen hinweg.

  • 1Laden Sie die Bonsai 27B Modellgewichte, verfügbar unter der Apache 2.0 License, für die lokale Integration herunter.
  • 2Integrieren Sie das Modell in benutzerdefinierte Anwendungen für die On-Device-Inferenz auf Smartphones oder Laptops.
  • 3Greifen Sie auf die kostenlose, zeitlich begrenzte Developer Preview API von PrismML zu, um das Experimentieren zu erleichtern.
  • 4Stellen Sie die 1-Bit Bonsai 27B Variante auf High-End-Mobilgeräten wie dem iPhone 17 Pro für maximale Komprimierung bereit.
  • 5Nutzen Sie die Ternary Bonsai 27B Variante auf Laptops und Desktops für verbesserte Denk- und Codierungsleistung.

pricing

Bonsai 27B Preise & Pläne

Bonsai 27B basiert auf einem Freemium-Modell. Die Modellgewichte stehen unter der permissiven Apache 2.0 License zum kostenlosen Download zur Verfügung und können sowohl kommerziell als auch zu Forschungszwecken genutzt werden. PrismML bietet außerdem eine kostenlose, zeitlich begrenzte Developer Preview API zum Experimentieren an. Spezifische Preise für Enterprise- oder erweiterte Support-Stufen sind auf direkte Anfrage bei PrismML erhältlich.

  • Bonsai 27B (Ternary): Vertrieb kontaktieren
  • Bonsai 27B (1-bit): Vertrieb kontaktieren
  • Bonsai Image: Vertrieb kontaktieren
  • Bonsai 1.7B: Vertrieb kontaktieren
  • Bonsai 4B: Vertrieb kontaktieren
  • Bonsai 8B: Vertrieb kontaktieren

Pros

  • +First 27B-class multimodal model capable of running on a smartphone.
  • +Extreme compression (1-bit and 1.58-bit quantization) results in 14x less memory consumption.
  • +High performance retention (over 90% for 1-bit, 95% for ternary) despite significant compression.
  • +Operates entirely offline, ensuring data privacy and functionality without internet.
  • +Significantly more energy-efficient for local inference (0.275 mWh/token on M5 Pro).
  • +Open-source availability under Apache 2.0 license, with Hugging Face integration.

Cons

  • −Performance gap concentrated in the most demanding categories, despite high retention.
  • −Agentic coding for long-horizon, multi-file workflows is not yet a strong target for this release.
  • −Initial compatibility issues reported with some third-party tools like LM Studio, indicating evolving tooling support.
  • −Specific pricing details for commercial use require direct contact with PrismML sales.
  • −Requires high-end mobile devices (e.g., iPhone 17 Pro) for optimal smartphone performance.

Ähnliche Tools

Bonsai 27B vs. Wettbewerber

Der primäre Wettbewerbsvorteil von Bonsai 27B ist seine 'Intelligenzdichte', die es einem Modell mit 27 Milliarden Parametern ermöglicht, auf Endgeräten mit erheblich reduziertem Speicherbedarf zu laufen. Während herkömmliche Modelle der 27B-Klasse 18 GB-54 GB benötigen, erreicht Bonsai 27B dies mit 3,9 GB (1-Bit) oder 5,9 GB (ternäre Idealgröße). PrismML behauptet, dass seine ternäre Variante 94,6% und die 1-Bit-Variante 89,5% der Full-Precision-Baseline über 15 Benchmarks beibehält und damit herkömmliche Sub-4-Bit-Builds anderer Modelle übertrifft.

1
MLC Chat↗

MLC Chat is an open-source universal chat app that allows users to run various large language models directly on their devices, including smartphones, completely offline.

While Bonsai 27B is a specific 27-billion-parameter model, MLC Chat provides a platform to run a range of models, typically smaller (e.g., Llama 3.2, Gemma 2, Phi 3.5, Qwen 2.5, often in the 1B-8B parameter range), on-device and offline. It offers flexibility in model choice, whereas Bonsai 27B is a fixed model from PrismML.

2
PocketPal AIOn StorkCompare

PocketPal AI is a free, open-source application for Android and iOS that enables users to download and run GGUF-formatted LLMs entirely offline on their smartphones.

Similar to Bonsai 27B, PocketPal AI focuses on offline, on-device LLM inference for smartphones. However, it supports a variety of smaller GGUF models (e.g., Gemma 3 1B, Llama 3.2 1B/3B, Qwen2.5 1.5B), generally in the 1B-4B parameter range, rather than a single 27B model. It emphasizes user choice of models and privacy through local execution.

3
Google AI Edge Gallery / LLM Inference APIOn StorkCompare

Google AI Edge Gallery is an open-source Android application and platform showcasing the LLM Inference API, which allows developers to deploy and run various Google-optimized LLMs (like Gemma) directly on Android devices for offline use.

Bonsai 27B is a consumer-ready model, while Google AI Edge Gallery and its LLM Inference API are primarily developer-focused tools for integrating on-device AI into Android applications. Google's offerings typically feature smaller, optimized models (e.g., Gemma 2B, Gemma 3n) designed for mobile hardware, which are generally less than Bonsai's stated 27 billion parameters.

4
Apple Intelligence↗

Apple Intelligence is a suite of on-device AI capabilities deeply integrated into iOS, iPadOS, and macOS, processing most requests locally and offline using a 3-billion-parameter LLM.

Unlike Bonsai 27B, which is a standalone LLM, Apple Intelligence is a comprehensive system-level integration of AI features. It runs a smaller, 3-billion-parameter LLM on-device, prioritizing privacy and seamless user experience within the Apple ecosystem, whereas Bonsai 27B offers a significantly larger parameter count for a single model.

Bonsai 27B besuchen↗
Kontakt
𝕏
X / Twitterx.com/PrismML
⌘
GitHubgithub.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-27b-whitepaper.pdf
in
LinkedInwww.linkedin.com/company/prismml/

AI Reputation Report

Is Bonsai 27B yours?

ChatGPT, Perplexity, Gemini, Claude & Grok answer buyer questions about Bonsai 27B every day. See whether they name Bonsai 27B — or send buyers to a rival.

See what AI saysfree preview

Featured in articles