Conoce la IA que elimina la factura del servidor
¿Facturas de servidor para la inferencia de IA? Opcional. El enfoque de Desert Ant Labs para la IA en el dispositivo ofrece pequeños modelos especializados que se ejecutan directamente en tu hardware. En lugar de enrutar cada tarea de audio o visión a través de un gran modelo en la nube, estos modelos diminutos y específicos para cada tarea se ejecutan localmente, reduciendo la latencia y manteniendo la privacidad de los datos confidenciales.
Este cambio atrae tanto a los desarrolladores de aplicaciones como a los usuarios. Los desarrolladores minimizan los costos de inferencia, mientras que los usuarios finales se benefician de un procesamiento casi instantáneo y una mayor privacidad. Estos modelos beta, parte del SDK v4 de Desert Ant Labs, representan una nueva frontera para una IA eficiente y segura.
Conoce las dos nuevas ofertas: Who y Eye. Who se encarga de la diarización del hablante, identificando quién habló cuándo en las pistas de audio, con una precisión de hasta 10 milisegundos. Procesa una entrevista de 50 minutos en unos 3 segundos, operando a ~950x tiempo real en hardware de Apple.
Eye proporciona capacidades de visión en el dispositivo. Etiqueta, califica y clasifica fotos sin subirlas a la nube, realizando tareas como:
- Clasificar imágenes (captura de pantalla, recibo, documento)
- Etiquetar contenido en 558 categorías
- Evaluar la calidad estética
- Identificar rostros sonrientes u ojos cerrados
- Agrupar fotos casi duplicadas y seleccionar la mejor
Ninguno de los dos modelos es un asistente de propósito general. Who no transcribe voz ni identifica nombres, solo los turnos de los hablantes. Eye reconoce un recibo pero no realiza OCR. Son herramientas complementarias, optimizadas para casos de uso específicos y de alto rendimiento.
Who encuentra cada voz, pero no cada nombre
El modelo Who de Desert Ant Labs se especializa en la diarización del hablante: identifica qué hablante numerado habló cuándo, informando los límites de turno con una precisión de 10 milisegundos. El habla superpuesta se atribuye a ambos hablantes. Fundamentalmente, Who no transcribe audio ni identifica a los hablantes por su nombre.
Las afirmaciones sobre la velocidad son agresivas. Desert Ant Labs registra a Who a aproximadamente 950x tiempo real en un M5 Pro. Un podcast de la NASA de 57 minutos se procesó en 6.4 segundos, incluyendo la decodificación MP3. Una demostración en video mostró una ejecución de 11.9 segundos en un M2 Max más antiguo.
Los benchmarks revelan un rendimiento matizado. En el conjunto de datos de reuniones AMI, Who registró una tasa de error del 12.6%, superando por poco al 13.1% de pyannote. Sin embargo, tiene dificultades con las llamadas de resultados financieros que cuentan con hasta 20 hablantes, donde su tasa de error del 27.7% queda por detrás del 7.3% de pyannote.
Who brilla con audio de micrófono cercano de podcasts y llamadas. Es menos adecuado para grabaciones abarrotadas o de campo lejano. Este modelo específico se optimiza para casos de uso definidos, no para una aplicación amplia.
Eye convierte una carpeta de fotos desordenada en una biblioteca
El análisis de fotos de una sola llamada del modelo Eye transforma carpetas desordenadas en bibliotecas organizadas. Clasifica las imágenes como capturas de pantalla, recibos, documentos o fotos. Las etiquetas en 558 categorías proporcionan un contexto granular. También califica la estética, marca rostros con ojos cerrados o sonrisas, y agrupa casi duplicados para sugerir la mejor toma.
Fundamentalmente, Eye reconoce un recibo pero no lee su texto; el OCR no es parte de este modelo. Las puntuaciones de confianza requieren umbrales: Desert Ant Labs recomienda 0.5 para una coincidencia positiva, o un 0.9 más estricto para acciones automáticas sensibles como ocultar imágenes privadas.
La demostración en navegador de Better Stack proporcionó una prueba de realidad. Eye clasificó 105 fotos en 16.1 segundos, con un promedio de 6.5 imágenes por segundo. Aunque la demostración reveló categorías útiles, los juicios subjetivos como el desenfoque y las puntuaciones estéticas pueden ser inconsistentes. Este pequeño modelo se ejecuta en tu teléfono, no en la nube, lo que lo convierte en una poderosa herramienta local para la gestión de fotos.
¿Te está gustando? Recibe uno así en tu bandeja cada mañana.
un correo al día · date de baja en dos clics · sin rastreadores de terceros
La IA local todavía tiene advertencias
La IA local todavía tiene peculiaridades. Eye se ejecuta en un navegador usando WebGPU, recurriendo a WebAssembly; Who se combina con un reconocedor de voz independiente para obtener transcripciones etiquetadas por hablante. Ninguno ofrece un flujo de trabajo totalmente automático de "configurar y olvidar".
El procesamiento de medios permanece en el dispositivo, lo que garantiza la privacidad. Sin embargo, el SDK de código disponible (source-available) realiza una verificación de licencia mensual. El nivel gratuito cubre hasta 100,000 dispositivos activos mensuales; no es de código abierto.
Who y Eye son prometedores para:
- Flujos de trabajo de podcasts
- Reuniones con micrófonos dedicados
- Limpieza de bibliotecas de fotos
Realiza pruebas con datos representativos antes de confiar en ellos. Who tiene dificultades con grupos grandes (más de 20 hablantes) o micrófonos de campo lejano; las puntuaciones de confianza de Eye requieren ajustes para el manejo automático de imágenes sensibles.
Preguntas frecuentes
¿Qué hace el modelo Who de Desert Ant Labs?
Who identifica cuándo hablan diferentes personas en una grabación de audio. Asigna hablantes numerados y marcas de tiempo, pero no transcribe el habla ni identifica a las personas por su nombre.
¿Puede Eye leer texto en recibos?
No. Eye puede clasificar una imagen como un recibo, pero no realiza OCR ni extrae el texto del recibo.
¿Envían Who y Eye grabaciones o fotos a la nube?
Los modelos procesan los medios localmente en dispositivos compatibles o en el navegador. El SDK realiza una verificación de licencia mensual, la cual, según la empresa, no incluye audio ni fotos.
¿Son los modelos Who y Eye de Desert Ant Labs de código abierto?
No. Utilizan la licencia de código disponible de Desert Ant Labs, que ofrece uso gratuito hasta 100,000 dispositivos activos mensuales, sujeto a sus términos.