Tag
7 publicações
Um pequeno modelo local pode tornar agentes de IA práticos em hardware comum — mas sua vitória principal esconde uma grande desvantagem em termos de capacidade. Os benchmarks levantam uma questão mais difícil: quais habilidades você pode se dar ao luxo de perder?
A alegação de velocidade em destaque vem com um asterisco de hardware, e a história da precisão muda quando o ruído de fundo entra em cena. A reviravolta mais importante está enterrada no comando de instalação: os pesos podem ser abertos, mas o motor não.
Um pequeno modelo de 2B parâmetros está superando gigantes com o dobro do seu tamanho em tarefas complexas de codificação, anunciando uma nova era para agentes de IA locais. Mas, escondida em sua própria documentação, existe uma configuração única que pode torná-lo completamente inútil.
Um modelo de IA inovador foi tornado pequeno o suficiente para rodar no seu desktop. Mas um requisito de hardware oculto torna-o uma fantasia para quase todos, e não é o que você pensa.
A Unsloth acabou de comprimir um modelo de AI de 1.51TB para impressionantes 238GB, retendo mais de 80% do seu poder. Este avanço significa que agora pode executar um agente de codificação de classe de ponta diretamente no seu Mac, contornando as APIs para sempre.
A Xiaomi acaba de lançar um modelo de IA que gera mais de 1.000 tokens por segundo em GPUs padrão, superando o GPT-4. Este avanço no 'codesign modelo-sistema' pode mudar fundamentalmente as aplicações de IA em tempo real.
O Google lançou um algoritmo de IA tão eficiente que derrubou os preços da memória da noite para o dia. Mas a verdadeira história é por que essa 'solução' tornará a crise da RAM ainda pior.
