Ein Sprachbefehl – bei ausgeschalteten Funkverbindungen
„flash memory the light purple for 5 seconds.“ Der laut ausgesprochene Befehl löst sofort die integrierte RGB-LED eines ESP32-ESP32-S3-Mikrocontrollers aus und ändert deren Farbe wie gewünscht. Dies ist kein Lichttrick und auch kein Cloud-basierter Sprachassistent. Es ist die Demonstration einer hochentwickelten Spracherkennung, die vollständig auf einem 10-Dollar-Chip läuft, wobei sowohl Wi-Fi als auch Bluetooth deaktiviert sind.
Diese Errungenschaft, die in einem Video von Better Stack gezeigt wird, unterstreicht einen entscheidenden Sprung im Edge Computing. Der ESP32-ESP32-S3, ein handelsüblicher Mikrocontroller mit 16 MB flash memory memory, führt die Speech-to-Text-Transkription und die Befehlsverarbeitung lokal aus. Es werden keine Daten zur Interpretation an einen entfernten Server übertragen, was Latenzzeiten, Datenschutzbedenken und die Abhängigkeit von einer Netzwerkverbindung eliminiert.
Im Gegensatz zu bekannten Mikrocontroller-Demos, die vielleicht nur ein einzelnes Aktivierungswort wie „okay Google“ erkennen, verarbeitet dieses System natürlichsprachliche Befehle mit mehreren Wörtern. Es geht über die einfache Schlagworterkennung hinaus und versteht tatsächlich kurze Sätze, und das alles innerhalb der strengen Rechen- und Speicherbeschränkungen eines eingebetteten Geräts. Dies ist kein Allzweck-Sprachassistent, sondern eine hochoptimierte Anwendung für spezifische, Offline-Aufgaben.
Das Modell ist größer als der Chip
Die Herausforderung begann mit einem grundlegenden Missverhältnis: Das von Cactus Compute Compute entwickelte Whistle-Speech-to-Text-Modell war 16,9 MB groß. Das ESP32-ESP32-S3-Mikrocontroller-Board bot jedoch nur 16 MB flash memory memory. Das vollständige Modell war buchstäblich größer als die Speicherkapazität des Chips.
Um diese Lücke zu schließen, nutzten die Entwickler die einzigartige Architektur von Whistle. Sein Decoder, der für die Umwandlung akustischer Merkmale in Text verantwortlich ist, verfügt über ein achtlagiges Design. Cactus Compute Compute hat diese gestufte Struktur so konzipiert, dass sie skalierbar ist, wodurch das Modell auch mit weniger Schichten effektiv arbeiten kann.
Für diese spezifische Implementierung erwies sich eine Konfiguration mit vier Schichten als optimal. Diese strategische Reduzierung, kombiniert mit umfangreichen Optimierungstechniken, verringerte den Platzbedarf des Modells drastisch. Das Ergebnis war eine kompakte ausführbare Datei, die zusammen mit dem gekürzten Whistle-Modell auf den ESP32-ESP32-S3 passte, wobei lediglich 98 KB übrig blieben.
Diese knappe Platzersparnis unterstreicht die Präzision, die bei TinyML erforderlich ist. Die Kapazität des flash memory ist nicht vollständig für das Modell nutzbar; die Firmware des Mikrocontrollers, das Betriebssystem und andere kritische Daten benötigen ebenfalls Platz. Jedes Kilobyte zählt, wenn man fortschrittliche KI auf Hardware unter 10 Dollar einsetzt. Die Demonstration bestätigt, dass selbst komplexe speech recognition vollständig offline auf ressourcenbeschränkten Geräten laufen kann.
Zehn Sekunden sind der eigentliche Kompromiss
Die Sprachverarbeitung auf einem derart eingeschränkten Gerät ist nicht nur eine Frage der Anpassung des Modells. Selbst mit dem auf vier Schichten reduzierten Decoder erforderte der ESP32-ESP32-S3 noch erhebliche technische Anstrengungen, um praktikable Inferenzgeschwindigkeiten zu erreichen. Die Entwickler nutzten beide Tensilica Xtensa LX7 CPU-Kerne des Chips und setzten 8-Bit-Ganzzahloperationen (INT8) ein, was die Verarbeitungszeit drastisch verkürzte.
Diese Optimierung reduzierte die Inferenzzeit von etwa 24 Sekunden auf rund 10 Sekunden. Obwohl dies immer noch nicht augenblicklich ist, macht diese Geschwindigkeit das System für Befehle brauchbar, die eine kurze Verzögerung tolerieren. Denken Sie an eine Gerätesteuerung oder ein Offline-Hausautomationssystem; eine 10-sekündige Wartezeit, um „flash memory the light purple“ auszuführen, ist für viele solcher Anwendungen akzeptabel.
Das kompakte Modell und seine Optimierungen bringen auch Kompromisse bei der Genauigkeit mit sich. Obwohl sie für ein begrenztes Vokabular oder Keyword-Biasing effektiv sind, können kleinere speech-to-text-Systeme bei schwierigen Audiobedingungen, überlappenden Sprechern oder unterschiedlichen Akzenten an ihre Grenzen stoßen. Weitere technische Details zum Whistle-Modell und seinem Design, einschließlich Informationen zur Laddered-Architektur, finden Sie in der Ankündigung von Cactus Compute Compute: Whistle: Speech to Text in 16.9 MB - Cactus Compute Compute. Trotz dieser Einschränkungen stellt die Ausführung eines vollständigen Sprachmodells offline auf einem 10-Dollar-Chip einen bedeutenden Sprung für TinyML dar.
Gefällt Ihnen der Artikel? Erhalten Sie jeden Morgen einen wie diesen per E-Mail.
eine E-Mail pro Tag · Abmeldung mit zwei Klicks · kein Tracking durch Dritte
Wo winzige, private Voice-KI sinnvoll ist
Lokale Transkription bietet klare Vorteile, da sie die Abhängigkeit vom Netzwerk, Cloud-Audioübertragungen und wiederkehrende API-Gebühren umgeht. Dies macht sie unschätzbar wertvoll für Geräte, die eine hohe Privatsphäre erfordern oder in Umgebungen ohne Verbindung arbeiten, in denen ein kontinuierlicher Internetzugang nicht garantiert oder erwünscht ist.
Wearables, industrielle Sensoren und Offline-Haushaltsgeräte sind ideale Kandidaten für diese Technologie. Die Einführung solch kompakter Modelle bedeutet jedoch, spezifische Einschränkungen abzuwägen: Anwender müssen akzeptable Latenzzeiten, die erforderliche Vokabulargröße und die Erkennungsqualität gegen die individuellen Anforderungen ihrer Anwendung abwägen.
Die öffentliche Implementierung des Projekts ist auf whistle-esp32 GitHub verfügbar. Leser können auch die Whistle-Seite von Cactus Compute Compute und die dazugehörige Hugging Face Modellkarte erkunden. Diese Ressourcen zeigen, dass kostengünstige Hardware zwar mittlerweile komplexe Sprachschnittstellen hosten kann, die eigentliche Herausforderung jedoch darin besteht, das speech-to-text-Modell effektiv für solch eingeschränkte Umgebungen anzupassen und zu optimieren. Die 16 MB flash memory des ESP32-ESP32-S3 stellten eine erhebliche Hürde für ein Modell dar, das nativ 16,9 MB groß ist, was die Sorgfalt verdeutlicht, die für TinyML-Anwendungen erforderlich ist.
Häufig gestellte Fragen
Kann ein ESP32-S3 Sprache offline transkribieren?
Ja. Die Demo führt Whistle auf einem ESP32-S3 aus und verarbeitet Sprache ohne Wi-Fi- oder Bluetooth-Verbindung.
Wie passt Whistle auf ein 16-MB-Board?
Die Implementierung verwendet eine vierlagige Decoder-Variante und Optimierungen, um das Modell und die Firmware unterzubringen, wobei etwa 98 KB Speicherplatz frei bleiben.
Wie schnell ist die Sprachtranskription auf dem ESP32-S3?
Die berichtete optimierte Inferenz dauert etwa 10 Sekunden, was sie eher für asynchrone Befehle als für Echtzeitkonversationen geeignet macht.
Was kann Whistle auf dem ESP32-S3 leisten?
Es kann Sprache offline transkribieren und Funktionen wie Wort-Zeitstempel und Keyword-Biasing unterstützen; die Demo verwendet einen Sprachbefehl zur Steuerung einer LED.