Revisão do vLLM

vLLM é um motor de inferência e serviço de alta capacidade e eficiente em memória, desenvolvido inicialmente na UC Berkeley, que permite a engenheiros de IA/ML, desenvolvedores, empresas e engenheiros de plataforma implementar e gerir Large Language Models de forma eficiente. Otimiza o desempenho e o uso de recursos através de inovações como PagedAttention e continuous batching. vLLM é uma biblioteca de código aberto concebida para a inferência eficiente de Large Language Models, fornecendo uma interface simples para implementar e gerir modelos. Acelera significativamente a inferência de LLM otimizando o uso da memória da GPU e a eficiência de processamento. Isto é conseguido através de inovações chave como PagedAttention, que gere a memória cache Key-Value (KV) de forma semelhante à forma como os sistemas operativos lidam com a memória virtual, e continuous batching. O projeto evoluiu para uma iniciativa impulsionada pela comunidade, amplamente adotada para implementações de LLM em produção.

vLLM oferece um conjunto abrangente de funcionalidades concebidas para melhorar a eficiência e o desempenho da inferência e serviço de Large Language Models. A sua arquitetura foca-se em maximizar a utilização do hardware e minimizar a latência para várias aplicações de IA.

O vLLM é primariamente concebido para profissionais técnicos e organizações que necessitam de uma implementação de Large Language Models de alto desempenho, escalável e económica. As suas otimizações tornam-no adequado para aplicações de IA exigentes.

O vLLM opera num modelo freemium. A biblioteca central do vLLM é de código aberto e está disponível gratuitamente, permitindo que desenvolvedores e organizações implementem e gerenciem Large Language Models sem custos diretos de licenciamento. Isso inclui acesso às suas capacidades de inferência de alta capacidade e eficiente em memória, PagedAttention e continuous batching. Embora a biblioteca em si seja gratuita, a implementação em infraestrutura de nuvem ou hardware especializado incorrerá em custos dos respetivos fornecedores (por exemplo, custos de instâncias de GPU da AWS, Azure, GCP). Não existem planos de subscrição ou níveis pagos detalhados publicamente diretamente do projeto vLLM para funcionalidades aprimoradas ou suporte empresarial; no entanto, a sua natureza de código aberto permite contribuições da comunidade e ofertas comerciais de terceiros construídas sobre ele.