Pesquisa em IA ·
O truque para colocar um LLM de 35B em um iPhone
Executar um modelo de IA de 35 bilhões de parâmetros em um telefone parece impossível, dado que ele precisa de 20GB de RAM. Mas uma nova técnica muda o jogo em relação aos limites de memória, abrindo as portas para uma IA poderosa e privada que nunca sai do seu dispositivo.