Die 975B-Parameter-KI, die Roh-Audio versteht

Die ehemalige OpenAI-CTO Mira Murati hat Thinking Machines gegründet, ein 12-Milliarden-Dollar-Startup, das bereit ist, die Landschaft der geschlossenen KI-Entwicklung herauszufordern. Ihr Unternehmen setzt sich für leistungsstarke Open-Weight-Modelle ein, mit dem Ziel, fortschrittliche KI-Fähigkeiten zu demokratisieren und Unternehmen eine beispiellose Kontrolle und Anpassung ihrer intelligenten Systeme zu ermöglichen.

Das erste Angebot von Thinking Machines, Inkling, ist mit 975 Milliarden Parametern eine beeindruckende Erscheinung. Dieser enorme Umfang wird durch eine hochentwickelte Mixture-of-Experts (MoE)-Architektur verwaltet, bei der für jeden Token nur schlanke 41 Milliarden Parameter aktiv genutzt werden, was Leistung mit Recheneffizienz in Einklang bringt. Inkling wurde unter einer permissiven Apache 2.0-Lizenz veröffentlicht und die vollständigen Gewichte sind auf Hugging Face frei zugänglich.

Entscheidend ist, dass Thinking Machines Inkling nicht als Konkurrenten für allgemeine KI positioniert, sondern als strategisches Basismodell. Auch wenn es vielleicht nicht in jedem breit gefächerten Benchmark besser abschneidet, zeichnet sich sein Design als Ausgangspunkt für spezialisierte Anwendungen aus. Inklings wahres Potenzial wird durch individuelles Fine-Tuning erschlossen, das exklusiv über die Tinker-Plattform ermöglicht wird und Entwicklern die Möglichkeit gibt, maßgeschneiderte Lösungen für spezifische, hochvolumige Aufgaben zu erstellen.

Inkling unterscheidet sich deutlich von herkömmlichen multimodalen Modellen, indem es die Vorverarbeitung für nicht-textuelle Eingaben umgeht. Anstatt Audio in Text zu transkribieren oder Bilder mit einem separaten Vision-Encoder zu beschreiben, nimmt es Roh-Audio als Spektrogramme und Bilder direkt als 40x40-Pixel-Patches auf. Diese werden dann zusammen mit Text-Tokens in einem einheitlichen Repräsentationsraum verarbeitet.

Diese neuartige Architektur minimiert theoretisch den Datenverlust und die Kompression, die bei herkömmlichen Methoden unvermeidlich sind, da Informationen bei der Umwandlung reichhaltiger Sensordaten in ein textuelles Zwischenformat zwangsläufig verloren gehen. Sie ermöglicht es Inkling, die Nuancen von Klang wahrzunehmen, wie etwa den Sprechstil, und nicht nur dessen semantischen Inhalt.

Thinking Machines ist transparent bezüglich der allgemeinen Leistung von Inkling. Während es GLM 5.2 bei der Befolgung von Anweisungen übertrifft (79,8 zu 73,3), schneidet es bei agentischen Terminal-Bench-Aufgaben deutlich schlechter ab (63,8 zu 82,7). Dies deutet auf eine Kompetenz bei der Ausführung direkter Befehle hin, aber auf eine schwächere autonome Problemlösungsfähigkeit.

Solche Benchmark-Ergebnisse unterstreichen Inklings Design als Spezialist für Fine-Tuning, nicht als Generalist. Seine Stärke liegt darin, eine robuste, auf Rohdaten basierende Grundlage für hochspezifische, hochvolumige Aufgaben zu bieten, insbesondere solche, die nuancierte Audio- oder visuelle Eingaben beinhalten, anstatt breites, unüberwachtes Schlussfolgern.

Inklings wahre Kraft entfaltet sich durch Fine-Tuning, nicht durch rohe allgemeine Leistung. Dieser Prozess lehrt Modelle, wie sie reagieren sollen – er formt Tonfall, Format und die Einhaltung spezifischer Ausgabestrukturen, anstatt neues Faktenwissen zu vermitteln.

Betrachten Sie Harvey AI, das ein kleineres Modell feinabgestimmt hat, um juristische Zitate zu extrahieren. Dieses spezialisierte Modell verbesserte seinen F1-Score von 0,56 auf 0,68. Es erreichte oder übertraf GPT-4.0 in 93 % der Fälle, während es gleichzeitig schneller und kosteneffizienter lief.

Die Tinker-Plattform von Thinking Machines rationalisiert diese Anpassung und ermöglicht eine schnelle, aufgabenspezifische Adaption. Eine beeindruckende Demo zeigte, wie Inkling sich selbst feinabstimmte, um 'Epsilonphobie' zu zeigen – also niemals den Buchstaben 'e' zu verwenden –, indem das Modell dazu aufgefordert wurde, seine Trainingsdaten automatisch zu korrigieren und den gesamten Feinabstimmungsprozess auszuführen. Die resultierenden Antworten ergaben trotz der sprachlichen Einschränkung bemerkenswert viel Sinn.

Die Grundlage für diese Effizienz bildet Low-Rank Adaptation (LoRA). LoRA friert die ursprünglichen 975 Milliarden Parameter ein und fügt leichtgewichtige, kleinere Matrizen hinzu, um neue, spezifische Daten zu erfassen. Dieser Ansatz reduziert die Kosten und die Zeit für die Anpassung im Vergleich zum erneuten Training eines gesamten Modells drastisch, wodurch maßgeschneiderte KI für Nischenanwendungen zugänglich wird.

Diese gezielte Anpassung bedeutet, dass Unternehmen hochspezialisierte Agenten für umfangreiche, eng gefasste Aufgaben erstellen können. Für diejenigen, die an der Erkundung der Open-Weight-Architektur von Inkling und weiteren Details interessiert sind, stehen die Ressourcen unter thinkingmachines/Inkling - Hugging Face zur Verfügung.

Inkling ist nicht als Allround-Arbeitstier konzipiert; die Entwickler bei Thinking Machines räumen offen ein, dass seine Leistung bei breiten Benchmarks wie Terminal-Bench hinter Frontier-Modellen zurückbleibt. Für weitreichende, unspezialisierte Aufgaben bleiben etablierte Closed-Source-KIs die erste Wahl. Für eine eng gefasste, volumenstarke Aufgabe, die durch robuste, gelabelte Daten unterstützt wird, erweist sich Inkling jedoch als ein beeindruckender Konkurrent, der speziell für tiefgreifendes Fine-Tuning entwickelt wurde.

Auf der Tinker-Plattform besetzt Inkling zwei einzigartige Nischen. Es ist das einzige Modell, das Roh-Audio direkt als Spektrogramme verarbeiten kann, wodurch der bei der Texttranskription inhärente Datenverlust umgangen wird. Dieser direkte Ansatz ermöglicht eine beispiellose Analyse der intrinsischen Eigenschaften von Klang. Darüber hinaus können Benutzer den Denkaufwand (thinking effort) mit einem granularen 0-1-Schieberegler feinabstimmen, was eine Kontrolle bietet, die weit über die typischen Einstellungen für niedrig, mittel oder hoch bei anderen Modellen hinausgeht.

Die Entscheidung für Inkling hängt von der Spezifität Ihrer Anwendung ab. Es zeichnet sich bei spezialisierten Audioaufgaben aus, wie etwa beim medizinischen Diktat, bei dem es komplexe Medikamentennamen geschickt lernt, oder bei der Durchführung einer anspruchsvollen Sprachstilklassifizierung, um zu unterscheiden, wie etwas gesagt wurde. Wenn tiefgreifende Anpassung, direkte Audioanalyse und das Fine-Tuning eines Modells für eine präzise, wiederholbare Funktion die Hauptziele sind, bietet Inkling eine unvergleichliche Open-Weight-Lösung.

Was ist das Inkling KI-Modell?

Inkling ist ein Mixture-of-Experts (MoE)-Modell mit 975 Milliarden Parametern und offenen Gewichten von Thinking Machines, einem Startup, das von der ehemaligen OpenAI-CTO Mira Murati gegründet wurde. Es ist in erster Linie für das Fine-Tuning auf spezifische Aufgaben konzipiert.

Wie verarbeitet Inkling Audio und Bilder anders?

Im Gegensatz zu Modellen, die Audio/Bilder zuerst in Textbeschreibungen umwandeln, verarbeitet Inkling Rohdaten direkt. Es nimmt Audio als Spektrogramme und Bilder als Pixel-Patches auf und mischt sie mit Text-Tokens, um Datenverlust zu reduzieren und die Wiedergabetreue zu verbessern.

Ist Inkling besser als GPT-4?

Inkling ist nicht darauf ausgelegt, ein stärkeres allgemeines Modell als GPT-4 zu sein. Seine Stärke liegt darin, ein hocheffektives Basismodell für das Fine-Tuning auf enge, spezifische Aufgaben zu sein, bei denen eine angepasste Version allgemeine Modelle sowohl in Bezug auf Genauigkeit als auch Effizienz übertreffen kann.

Was ist die Tinker-Plattform?

Tinker ist die Plattform von Thinking Machines, die für die Anpassung und das Fine-Tuning von KI-Modellen wie Inkling entwickelt wurde. Sie vereinfacht den Prozess der Anpassung eines Modells an eine hochspezifische Aufgabe unter Verwendung von Techniken wie LoRA für ein kosteneffizientes Training.