Découvrez l'IA qui fait l'impasse sur la facture du serveur
Les factures de serveur pour l'inférence IA ? Optionnelles. L'approche de Desert Ant Labs en matière d'IA sur appareil propose de petits modèles spécialisés qui s'exécutent directement sur votre matériel. Au lieu d'acheminer chaque tâche audio ou visuelle via un grand modèle cloud, ces minuscules modèles spécifiques à une tâche s'exécutent localement, réduisant la latence et préservant la confidentialité des données sensibles.
Ce changement séduit aussi bien les développeurs d'applications que les utilisateurs. Les développeurs minimisent les coûts d'inférence, tandis que les utilisateurs finaux bénéficient d'un traitement quasi instantané et d'une confidentialité renforcée. Ces modèles bêta, faisant partie du SDK v4 de Desert Ant Labs, représentent une nouvelle frontière pour une IA efficace et sécurisée.
Découvrez les deux nouvelles offres : Who et Eye. Who gère la diarisation du locuteur, identifiant qui a parlé quand dans les pistes audio, avec une précision de 10 millisecondes. Il traite une interview de 50 minutes en environ 3 secondes, fonctionnant à ~950x le temps réel sur le matériel Apple.
Eye fournit des capacités de vision sur appareil. Il étiquette, note et trie les photos sans téléchargement vers le cloud, effectuant des tâches telles que :
- Classifier les images (capture d'écran, reçu, document)
- Étiqueter le contenu parmi 558 catégories
- Évaluer la qualité esthétique
- Identifier les visages souriants ou les yeux fermés
- Regrouper les clichés quasi identiques et sélectionner le meilleur
Aucun de ces modèles n'est un assistant polyvalent. Who ne transcrit pas la parole et n'identifie pas les noms, seulement les tours de parole. Eye reconnaît un reçu mais n'effectue pas d'OCR. Ce sont des outils complémentaires, optimisés pour des cas d'utilisation spécifiques et à haute performance.
Who trouve chaque voix, mais pas chaque nom
Le modèle Who de Desert Ant Labs est spécialisé dans la diarisation du locuteur : il identifie quel locuteur numéroté a parlé quand, en rapportant les limites des tours de parole à 10 millisecondes près. Les chevauchements de parole sont attribués aux deux locuteurs. Il est crucial de noter que Who ne transcrit pas l'audio et n'identifie pas les locuteurs par leur nom.
Les affirmations sur la vitesse sont ambitieuses. Desert Ant Labs chronomètre Who à environ 950x le temps réel sur une puce M5 Pro. Un podcast de la NASA de 57 minutes a été traité en 6,4 secondes, décodage MP3 inclus. Une démonstration vidéo a montré une exécution en 11,9 secondes sur une puce M2 Max plus ancienne.
Les benchmarks révèlent des performances nuancées. Sur le jeu de données de réunions AMI, Who a enregistré un taux d'erreur de 12,6 %, battant de justesse les 13,1 % de pyannote. Cependant, il peine avec les appels de résultats financiers comptant jusqu'à 20 locuteurs, où son taux d'erreur de 27,7 % est à la traîne par rapport aux 7,3 % de pyannote.
Who brille avec l'audio de proximité provenant de podcasts et d'appels. Il est moins adapté aux enregistrements en champ lointain et bruyants. Ce modèle spécifique est optimisé pour des cas d'utilisation définis, et non pour une application générale.
Eye transforme un dossier photo désordonné en une bibliothèque
L'analyse photo en un appel du modèle Eye transforme les dossiers désordonnés en bibliothèques organisées. Il classifie les images en captures d'écran, reçus, documents ou photos. Les étiquettes parmi 558 catégories fournissent un contexte granulaire. Il note également l'esthétique, signale les visages aux yeux fermés ou souriants, et regroupe les quasi-doublons pour suggérer le meilleur cliché.
Il est crucial de noter qu'Eye reconnaît un reçu mais ne lit pas son texte — l'OCR ne fait pas partie de ce modèle. Les scores de confiance nécessitent des seuils : Desert Ant Labs recommande 0,5 pour une correspondance positive, ou un seuil plus strict de 0,9 pour des actions automatiques sensibles comme masquer des images privées.
La démo du navigateur de Better Stack a permis une mise en perspective. Eye a trié 105 photos en 16,1 secondes, soit une moyenne d'environ 6,5 images par seconde. Bien que la démo ait fait ressortir des catégories utiles, les jugements subjectifs comme le flou et les scores esthétiques peuvent être incohérents. Ce modèle miniature fonctionne sur votre téléphone, et non dans le cloud, ce qui en fait un outil local puissant pour la gestion de photos.
Cet article vous plaît ? Recevez-en un comme celui-ci chaque matin.
un e-mail par jour · désinscription en deux clics · aucun traqueur tiers
L'IA locale comporte encore des mises en garde
L'IA locale a encore ses particularités. Eye fonctionne dans un navigateur en utilisant WebGPU, avec une solution de repli vers WebAssembly ; Who est associé à un outil de reconnaissance vocale distinct pour les transcriptions avec identification des locuteurs. Aucun des deux n'offre un flux de travail entièrement automatique et « prêt à l'emploi ».
Le traitement des médias reste sur l'appareil, garantissant la confidentialité. Cependant, le SDK à source disponible effectue une vérification de licence mensuelle. L'offre gratuite couvre jusqu'à 100 000 appareils actifs par mois ; il ne s'agit pas d'un logiciel open source.
Who et Eye sont prometteurs pour :
- Les flux de travail de podcasts
- Les réunions avec des microphones dédiés
- Le nettoyage de photothèques
Testez-les sur des données représentatives avant de vous y fier. Who éprouve des difficultés avec les grands groupes (plus de 20 locuteurs) ou les microphones longue portée ; les scores de confiance d'Eye nécessitent un ajustement pour le traitement automatique des images sensibles.
Foire aux questions
Que fait le modèle Who de Desert Ant Labs ?
Who identifie les moments où différents locuteurs parlent dans un enregistrement audio. Il attribue des numéros aux locuteurs et des horodatages, mais ne transcrit pas la parole et n'identifie pas les personnes par leur nom.
Eye peut-il lire le texte sur les reçus ?
Non. Eye peut classer une image comme étant un reçu, mais il n'effectue pas d'OCR et n'extrait pas le texte du reçu.
Who et Eye envoient-ils des enregistrements ou des photos dans le cloud ?
Les modèles traitent les médias localement sur les appareils pris en charge ou dans le navigateur. Le SDK effectue bien une vérification de licence mensuelle, qui, selon l'entreprise, n'inclut ni audio ni photos.
Les modèles Who et Eye de Desert Ant Labs sont-ils open source ?
Non. Ils utilisent la licence à source disponible de Desert Ant Labs, qui offre une utilisation gratuite jusqu'à 100 000 appareils actifs par mois, sous réserve de ses conditions.