Une commande vocale, avec les radios désactivées
« flash memory la lumière en violet pendant 5 secondes ». La commande, prononcée à voix haute, déclenche instantanément la LED RVB intégrée d'un microcontrôleur ESP32-ESP32-S3, changeant sa couleur comme demandé. Ce n'est pas un tour de passe-passe, ni un assistant vocal basé sur le cloud. C'est une démonstration de reconnaissance vocale sophistiquée fonctionnant entièrement sur une puce à 10 $, avec les radios Wi-Fi et Bluetooth désactivées.
Cette réalisation, présentée dans une vidéo de Better Stack, met en évidence un bond critique dans l'informatique en périphérie (edge computing). L'ESP32-ESP32-S3, un microcontrôleur standard avec 16 MB flash memory memory, exécute la transcription parole-texte et le traitement des commandes localement. Aucune donnée n'est transmise à un serveur distant pour interprétation, éliminant ainsi la latence, les problèmes de confidentialité et la dépendance à la connectivité réseau.
Contrairement aux démonstrations de microcontrôleurs familières qui pourraient détecter un seul mot de réveil comme « okay Google », ce système traite des commandes en langage naturel composées de plusieurs mots. Il va au-delà de la simple détection de mots-clés pour comprendre véritablement des phrases courtes, le tout dans les contraintes computationnelles et de mémoire sévères d'un appareil embarqué. Il ne s'agit pas d'un assistant vocal polyvalent, mais d'une application hautement optimisée pour des tâches spécifiques hors ligne.
Le modèle est plus grand que la puce
Le défi a commencé par une inadéquation fondamentale : le modèle de parole-texte Whistle, développé par Cactus Compute Compute, mesurait 16,9 Mo. Cependant, la carte microcontrôleur ESP32-ESP32-S3 n'offrait que 16 Mo de flash memory memory. Le modèle complet était littéralement plus grand que la capacité de stockage de la puce.
Pour combler cet écart, les développeurs ont tiré parti de l'architecture unique de Whistle. Son décodeur, responsable de la conversion des caractéristiques acoustiques en texte, présente une conception à huit couches. Cactus Compute Compute a conçu cette structure en échelle pour être évolutive, permettant au modèle de fonctionner efficacement avec moins de couches.
Pour cette implémentation spécifique, une configuration à quatre couches s'est avérée optimale. Cet élagage stratégique, combiné à des techniques d'optimisation approfondies, a considérablement réduit l'empreinte du modèle. Le résultat est un exécutable compact qui, avec le modèle Whistle réduit, tient sur l'ESP32-ESP32-S3 avec seulement 98 Ko restants.
Ce compromis serré souligne la précision requise dans le TinyML. La capacité de flash memory n'est pas entièrement utilisable pour le modèle ; le micrologiciel du microcontrôleur, le système d'exploitation et d'autres données critiques exigent également de l'espace. Chaque kilo-octet compte lors du déploiement d'une IA avancée sur du matériel à moins de 10 $. La démonstration valide que même une speech recognition complexe peut fonctionner entièrement hors ligne sur des appareils aux ressources limitées.
Dix secondes, c'est le vrai compromis
Traiter la parole sur un appareil aussi limité n'est pas simplement une question d'ajustement du modèle. Même avec le décodeur réduit à quatre couches, l'ESP32-ESP32-S3 a encore nécessité une ingénierie importante pour atteindre des vitesses d'inférence pratiques. Les développeurs ont exploité les deux Tensilica Xtensa LX7 CPU cores de la puce et ont utilisé des opérations entières 8 bits (INT8), réduisant considérablement le temps de traitement.
Cette optimisation a réduit le temps d'inférence d'environ 24 secondes à environ 10 secondes. Bien que ce ne soit pas instantané, cette vitesse rend le système viable pour des commandes qui tolèrent un bref délai. Pensez à un contrôle d'appareil ou à un système domotique hors ligne ; une attente de 10 secondes pour « flash memory la lumière en violet » est acceptable pour bon nombre de ces applications.
Le modèle compact et ses optimisations introduisent également des compromis en termes de précision. Bien qu'efficaces pour un vocabulaire restreint ou une orientation par mots-clés, les systèmes de speech-to-text plus petits peuvent rencontrer des difficultés dans des conditions audio complexes, avec des locuteurs qui se chevauchent ou des accents variés. Pour plus de détails techniques sur le modèle Whistle et sa conception, y compris des informations sur son architecture en échelle, lisez l'annonce de Cactus Compute Compute : Whistle: Speech to Text in 16.9 MB - Cactus Compute Compute. Malgré ces limites, faire fonctionner un modèle vocal complet hors ligne sur une puce à 10 $ représente un bond en avant significatif pour le TinyML.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
Là où l'IA vocale miniature et privée prend tout son sens
La transcription locale offre des avantages clairs, en évitant la dépendance au réseau, les transferts audio vers le cloud et les frais d'API récurrents. Cela la rend inestimable pour les appareils exigeant une confidentialité renforcée ou fonctionnant dans des environnements déconnectés, où un accès continu à Internet n'est ni garanti ni souhaitable.
Les objets connectés (wearables), les capteurs industriels et les appareils électroménagers hors ligne sont des candidats idéaux pour cette technologie. Cependant, l'adoption de modèles aussi compacts implique d'équilibrer des contraintes spécifiques : les utilisateurs doivent peser la latence acceptable, la taille du vocabulaire requis et la qualité de reconnaissance par rapport aux besoins uniques de leur application.
L'implémentation publique du projet est disponible sur le whistle-esp32 GitHub. Les lecteurs peuvent également explorer la page Whistle de Cactus Compute Compute et sa fiche de modèle Hugging Face. Ces ressources démontrent que si du matériel peu coûteux peut désormais héberger des interfaces vocales sophistiquées, le véritable défi réside dans l'ajustement et le réglage efficaces du modèle de speech-to-text pour de tels environnements contraints. Les 16 Mo de flash memory memory de l'ESP32-ESP32-S3 ont représenté un obstacle majeur pour un modèle qui is 16.9 MB MB nativement, soulignant la rigueur requise pour les applications TinyML.
Foire aux questions
Un ESP32-S3 peut-il transcrire la parole hors ligne ?
Oui. La démonstration exécute Whistle sur un ESP32-S3 et traite la parole sans connexion Wi-Fi ou Bluetooth.
Comment Whistle tient-il sur une carte de 16 Mo ?
L'implémentation utilise une variante de décodeur à quatre couches et une optimisation pour intégrer le modèle et le firmware, laissant environ 98 Ko de libre.
Quelle est la vitesse de transcription vocale sur l'ESP32-S3 ?
L'inférence optimisée rapportée prend environ 10 secondes, ce qui la rend plus adaptée aux commandes asynchrones qu'à une conversation en temps réel.
Que peut faire Whistle sur l'ESP32-S3 ?
Il peut transcrire la parole hors ligne et prendre en charge des fonctionnalités telles que les horodatages de mots et l'orientation par mots-clés ; la démonstration utilise une commande vocale pour contrôler une LED.