overview
O que é o WebLLM?
WebLLM é um projeto inovador que permite que modelos de linguagem de grande porte quantizados sejam executados totalmente no navegador utilizando WebGPU e WebAssembly. Essa inovação traz o poder da IA diretamente para os dispositivos dos usuários, mantendo altos padrões de privacidade e desempenho.
- A execução totalmente do lado do cliente garante zero dependência do servidor.
- Utiliza aceleração de GPU local para inferência rápida.
