Das 2B-Modell, das einen 4B-Rivalen beim Programmieren übertraf
MiniCPM5-2B, ein Modell mit 2 Milliarden Parametern von OpenBMB, sorgte kürzlich für eine schockierende Überraschung beim SWE-bench Verified-Benchmark. Es erreichte einen Wert von 46 und schlug damit deutlich das 4-Milliarden-Parameter-Modell Qwen3.5-4B, das auf 34 kam. Diese Leistung widerspricht der gängigen Meinung über die Skalierung von Modellen, übertrifft einen doppelt so großen Rivalen und stellt die Vorstellung infrage, dass größer immer besser ist.
Dieser Sprung ist noch bedeutender, wenn man sich die unmittelbare Größenklasse ansieht. Andere Modelle mit 2 Milliarden Parametern, wie Qwen3.5-2B und Gemma-4-E2B, erzielten Werte von 5 beziehungsweise 2. MiniCPM5-2B hat nicht nur gewonnen; es hat neu definiert, was ein kleines Modell leisten kann, und signalisiert eine neue Grenze für effiziente, einsetzbare KI, insbesondere in Umgebungen mit begrenzten Ressourcen.
SWE-bench ist keine akademische Übung; es testet rigoros die Fähigkeit eines Modells, reale GitHub-Issues durch die Erstellung funktionaler Code-Patches zu lösen. Hier geht es nicht um Chat-Gewandtheit oder theoretisches Verständnis, sondern um praktisches, agentisches Problemlösen in komplexen Softwareumgebungen. Ein 2B-Modell, das auf diesem Niveau arbeitet, signalisiert einen tiefgreifenden Wandel für KI-Agenten-Fähigkeiten, weg von abstraktem Potenzial hin zu greifbaren, überprüfbaren Ergebnissen für Entwickler.
Gebaut, nicht angepasst, für Agenten
Die beeindruckende Leistung von MiniCPM5-2B ist kein Zufall; sie stellt einen tiefgreifenden Wandel im Modelldesign dar. OpenBMB hat sein Trainingsregime explizit auf agentisches Verhalten ausgerichtet und geht über allgemeine Chat-Fähigkeiten hinaus, indem es das Modell während des überwachten Fine-Tunings mit 500.000 Agenten-Trajektorien fütterte. Dieser rigorose Prozess integrierte anschließend fortschrittliches Reinforcement Learning, was in der Verschmelzung von 16 separaten RL-Expertenmodellen zu einem einzigen, hochspezialisierten Agenten gipfelte.
Architektonisch trifft MiniCPM5-2B eine pragmatische, aber leistungsstarke Entscheidung: eine einfache Llama-Basis. Es geht nicht darum, neuartige Komponenten zu erfinden, sondern den Nutzen und die Reichweite zu maximieren, wobei auf benutzerdefinierte Sparse-Attention-Mechanismen, die frühere Iterationen plagten, verzichtet wurde. Diese strategische Wahl verleiht dem Modell eine enorme Kompatibilität und ermöglicht es, mühelos in verschiedenen Umgebungen zu laufen, wie:
- MLX
- Llama.cpp
- WebLLM
Dies senkt die Eintrittsbarriere für Entwickler, die Agentensysteme bauen, drastisch.
Entscheidend ist, dass die technischen Spezifikationen von MiniCPM5-2B seine agentische Leistungsfähigkeit weiter untermauern. Es verfügt über ein robustes 128.000 natives Kontextfenster, das für die Aufrechterhaltung des Zustands und das Verständnis lang laufender Aufgabenfolgen unerlässlich ist. Die Veröffentlichung des Modells unter der Apache 2.0-Lizenz, zusammen mit seinen offenen Datensätzen, fördert Transparenz und eine breite Akzeptanz, was es zu einem grundlegenden Baustein für neue agentische Anwendungen macht.
Eine schlechte Standardeinstellung macht alles kaputt
Das Ausführen des quantisierten 4-Bit GGUF-Modells mit Standardeinstellungen deckt einen kritischen Fehler in MiniCPM5-2B auf. Trotz seiner Benchmark-Stärke kann das Modell in über 92 % der Fälle in eine lähmende Wiederholungsschleife geraten, was es für agentische Aufgaben effektiv unbrauchbar macht. Diese inhärente Instabilität, die durch gängige Standardkonfigurationen ausgelöst wird, maskierte anfangs das wahre Potenzial des Modells.
Eine einfache, damals noch nicht dokumentierte Lösung verwandelt dieses unberechenbare Verhalten. Die Änderung der Sampler-Einstellungen – insbesondere das Setzen von min_p auf 0 oder repeat_penalty auf 1,15 – entfesselt die latenten Fähigkeiten von MiniCPM5-2B. Auf HumanEval+ springt die quantisierte Q4_KM-Version mit diesen spezifischen Anpassungen von einem miserablen Wert von 6 auf beeindruckende 71, was eine dramatische Empfindlichkeit unterstreicht.
Dies ist nicht bloß eine Anpassung von Parametern; es ist eine grundlegende Designüberlegung für effiziente KI. Bei kleinen, hochgradig optimierten Modellen wie MiniCPM5-2B sind Sampler-Einstellungen nicht mehr nur 'Tuning'; sie sind ein kritischer Teil des funktionalen Designs des Modells. Das Ignorieren dieser entscheidenden Standardeinstellungen kann einen ansonsten leistungsfähigen Agenten komplett lahmlegen, was zeigt, wie eng optimiert diese Systeme arbeiten. Entdecken Sie die laufende Arbeit von OpenBMB an diesen Architekturen in ihrem GitHub - OpenBMB/MiniCPM: MiniCPM5: SOTA on-device LLMs, small yet powerful. Repository.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Realitätscheck: Wenn 4B immer noch gewinnt
Trotz seiner bemerkenswerten agentischen Fähigkeiten stößt MiniCPM5-2B auf erhebliche Einschränkungen, wenn es seine spezialisierte Nische verlässt. Während es bei SWE-bench Verified glänzte und Qwen3.5-4B entscheidend übertraf, lässt seine Leistung bei breiteren, vielfältigeren Metriken nach. Bei SWE-bench Pro erreicht MiniCPM5-2B 14 Punkte, genau die Hälfte der 28 Punkte von Qwen3.5-4B. Terminal-Bench zeigt einen noch deutlicheren Kontrast: MiniCPM5-2B erreicht etwa 8,5 im Vergleich zu 26 bei Qwen3.5-4B – ein Faktor von drei.
Kritisch ist, dass die Benchmarks von OpenBMB vom Anbieter selbst durchgeführt wurden, was eine enge, kuratierte Sichtweise darstellt. Die Vergleichstabelle enthält ausschließlich Qwen- und Gemma-Modelle und lässt wichtige Konkurrenten aus dem breiteren Ökosystem auffällig aus. Es gibt keine Leistungsmetriken für:
- Llama
- Phi
- SmolLM3
- MiniCPM4, den eigenen Vorgänger
Dieser Mangel an Transparenz, gepaart mit nicht verfügbaren Evaluierungsskripten, die von der Community angefordert wurden, wirft Fragen über die gesamte Wettbewerbslandschaft auf.
MiniCPM5-2B stellt einen faszinierenden Sprung für lokale Agenten-Experimente dar, insbesondere für On-Device-Anwendungen wie ein MacBook Air. Sein hochfokussiertes Training macht es zu einem wirkungsvollen Werkzeug für spezifische Coding- und Tool-Use-Aufgaben. Für eine breitere, zuverlässigere Leistung über diverse Aufgaben hinweg – einschließlich MMLU-Pro, GPQA Diamond und LongBench V2, bei denen Qwen3.5-4B ebenfalls gewinnt – bleibt das größere Qwen3.5-4B jedoch zweifellos die überlegene und robustere Wahl. Das kleinere Modell zeigt uns die Möglichkeiten auf, aber der Titan hält weiterhin die Mitte.
Häufig gestellte Fragen
Was ist MiniCPM5-2B?
MiniCPM5-2B ist ein Open-Source-Sprachmodell mit 2,5 Milliarden Parametern von OpenBMB. Es wurde speziell für KI-Agenten-Aufgaben trainiert und verwendet eine Standard-Llama-Architektur für breite Kompatibilität.
Wie schneidet MiniCPM5-2B im Vergleich zum größeren Qwen3.5-4B ab?
MiniCPM5-2B übertrifft Qwen3.5-4B bei spezifischen Agenten-Benchmarks wie SWE-bench Verified (46 vs 34). Das größere Qwen-Modell erzielt jedoch bei anderen Benchmarks wie SWE-bench Pro, MMLU-Pro und Terminal-Bench deutlich höhere Werte, was es insgesamt leistungsfähiger macht.
Warum bleibt das quantisierte MiniCPM5-2B in einer Schleife hängen?
Die quantisierten GGUF-Versionen können aufgrund schlechter Standard-Sampler-Einstellungen in Frameworks wie Llama.cpp in über 90 % der Fälle in eine Endlosschleife geraten. Das Setzen von min_p auf 0 oder repeat_penalty auf etwa 1,15 löst das Problem, dies war jedoch bei der Einführung nicht klar dokumentiert.
Was macht MiniCPM5-2B so gut bei Agenten-Aufgaben?
Seine starke agentische Leistung resultiert aus seinem spezialisierten Training. Dies umfasste überwachtes Fine-Tuning auf 500.000 Agenten-Trajektorien, Reinforcement Learning und die Zusammenführung von 16 separaten RL-Expertenmodellen zu einem.