Lernen Sie die KI kennen, die die Serverrechnung überflüssig macht
Serverkosten für KI-Inferenz? Optional. Der Ansatz von Desert Ant Labs für On-Device-KI liefert kleine, spezialisierte models run direkt auf Ihrer Hardware. Anstatt jede Audio- oder Bildaufgabe über ein großes Cloud-Modell zu leiten, werden diese winzigen, aufgaben-spezifischen Modelle lokal ausgeführt, was die Latenz senkt und sensible Daten privat hält.
Dieser Wandel spricht App-Entwickler und Nutzer gleichermaßen an. Entwickler minimieren Inferenzkosten, während Endnutzer von nahezu sofortiger Verarbeitung und verbesserter Privatsphäre profitieren. Diese Beta-Modelle, Teil des Desert Ant Labs SDK v4, repräsentieren eine neue Grenze für effiziente, sichere KI.
Lernen Sie die zwei neuen Angebote kennen: Who und Eye. Who kümmert sich um Speaker Diarization und identifiziert, wer wann in Audiospuren gesprochen hat, mit einer Präzision von bis zu 10 Millisekunden. Es verarbeitet ein 50-minütiges Interview in etwa 3 Sekunden und arbeitet auf Apple-Hardware mit etwa 950-facher Echtzeitgeschwindigkeit.
Eye bietet On-Device-Vision-Funktionen. Es taggt, bewertet und sortiert Fotos ohne Cloud-Uploads und führt Aufgaben aus wie:
- Klassifizierung von Bildern (Screenshot, Quittung, Dokument)
- Tagging von Inhalten über 558 Kategorien hinweg
- Bewertung der ästhetischen Qualität
- Identifizierung von lächelnden Gesichtern oder geschlossenen Augen
- Gruppierung von nahezu identischen Aufnahmen und Auswahl des besten Bildes
Keines der Modelle ist ein Allzweck-Assistent. Who transkribiert keine Sprache und identifiziert keine Namen, sondern nur Sprecherwechsel. Eye erkennt eine Quittung, führt aber keine OCR durch. Es sind komplementäre Werkzeuge, die für spezifische, leistungsstarke Edge-Cases optimiert sind.
Who findet jede Stimme – aber nicht jeden Namen
Das Who-Modell von Desert Ant Labs ist auf Speaker Diarization spezialisiert: Es identifiziert, welcher nummerierte Sprecher wann gesprochen hat, und meldet Sprecherwechsel mit einer Genauigkeit von 10 Millisekunden. Überlappende Sprache wird beiden Sprechern zugeordnet. Entscheidend ist, dass Who keine Audiodaten transkribiert oder Sprecher namentlich identifiziert.
Die Geschwindigkeitsversprechen sind ambitioniert. Desert Ant Labs taktet Who auf einem M5 Pro mit etwa 950-facher Echtzeit. Ein 57-minütiger NASA-Podcast wurde in 6,4 Sekunden verarbeitet, inklusive MP3-Dekodierung. Eine Videodemo zeigte eine Laufzeit von 11,9 Sekunden auf einem älteren M2 Max.
Benchmarks zeigen eine nuancierte Leistung. Auf dem AMI-Meeting-Datensatz erzielte Who eine Fehlerrate von 12,6 % und schlug damit knapp die 13,1 % von pyannote. Es hat jedoch Schwierigkeiten bei Earnings Calls mit bis zu 20 Sprechern, wo die Fehlerrate von 27,7 % hinter den 7,3 % von pyannote zurückbleibt.
Who glänzt bei Nahbesprechungs-Audio aus Podcasts und Anrufen. Es ist weniger geeignet für überfüllte Fernfeld-Aufnahmen. Dieses spezifische Modell ist für definierte Anwendungsfälle optimiert, nicht für breite Anwendungen.
Eye verwandelt einen unordentlichen Fotoordner in eine Bibliothek
Die Ein-Aufruf-Fotoanalyse des Eye-Modells verwandelt unordentliche Ordner in organisierte Bibliotheken. Es klassifiziert Bilder als Screenshots, Quittungen, Dokumente oder Fotos. Tags über 558 Kategorien hinweg bieten granularen Kontext. Es bewertet zudem die Ästhetik, markiert Gesichter mit geschlossenen Augen oder Lächeln und gruppiert nahezu identische Aufnahmen, um das beste Bild vorzuschlagen.
Entscheidend ist, dass Eye eine Quittung erkennt, aber deren Text nicht liest – OCR ist nicht Teil dieses Modells. Konfidenzwerte erfordern Schwellenwerte: Desert Ant Labs empfiehlt 0,5 für eine positive Übereinstimmung oder strengere 0,9 für sensible automatische Aktionen wie das Ausblenden privater Bilder.
Die Browser-Demo von Better Stack war ein Realitätscheck. Eye sortierte 105 Fotos in 16,1 Sekunden, was einem Durchschnitt von etwa 6,5 Bildern pro Sekunde entspricht. Während die Demo nützliche Kategorien aufzeigte, können subjektive Bewertungen wie Unschärfe und ästhetische Scores inkonsistent sein. Dieses kleine Modell läuft auf Ihrem Smartphone, nicht in der Cloud, was es zu einem leistungsstarken lokalen Werkzeug für die Fotoverwaltung macht.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Lokale KI hat immer noch ihre Tücken
Lokale KI hat immer noch ihre Eigenheiten. Eye läuft in einem Browser unter Verwendung von WebGPU und greift bei Bedarf auf WebAssembly zurück; Who wird mit einer separaten Spracherkennung für Transkripte mit Sprecherzuordnung gekoppelt. Keines der beiden bietet einen vollautomatischen „Set-it-and-forget-it“-Workflow.
Die Medienverarbeitung findet auf dem Gerät statt, was den Datenschutz gewährleistet. Das Source-Available-SDK führt jedoch eine monatliche Lizenzprüfung durch. Die kostenlose Stufe deckt bis zu 100.000 monatlich aktive Geräte ab – es handelt sich nicht um Open Source.
Who und Eye zeigen Potenzial für:
- Podcast-Workflows
- Meetings mit dedizierten Mikrofonen
- Bereinigung der Fotobibliothek
Testen Sie die Modelle mit repräsentativen Daten, bevor Sie sich auf sie verlassen. Who hat Schwierigkeiten bei großen Gruppen (20+ Sprecher) oder Fernfeldmikrofonen; die Konfidenzwerte von Eye erfordern eine Feinabstimmung für die automatische Handhabung sensibler Bilder.
Häufig gestellte Fragen
Was macht das Who-Modell von Desert Ant Labs?
Who identifiziert, wann verschiedene Sprecher in einer Audioaufnahme sprechen. Es weist nummerierte Sprecher und Zeitstempel zu, transkribiert jedoch keine Sprache und identifiziert Personen nicht namentlich.
Kann Eye Text auf Quittungen lesen?
Nein. Eye kann ein Bild als Quittung klassifizieren, führt jedoch keine OCR durch und extrahiert nicht den Text der Quittung.
Senden Who und Eye Aufnahmen oder Fotos an die Cloud?
Die Modelle verarbeiten Medien lokal auf unterstützten Geräten oder im Browser. Das SDK führt eine monatliche Lizenzprüfung durch, die laut Unternehmensangaben keine Audio- oder Fotodaten umfasst.
Sind die Who- und Eye-Modelle von Desert Ant Labs Open Source?
Nein. Sie verwenden die Source-Available-Lizenz von Desert Ant Labs, die eine kostenlose Nutzung bis zu 100.000 monatlich aktiven Geräten gemäß den geltenden Bedingungen ermöglicht.