Este truque executa um LLM de 35B no seu iPhone

Pesquisadores de IA alcançaram recentemente um feito notável: implantar o modelo de linguagem grande Qwen 3.5, um gigante de 35 bilhões de parâmetros, diretamente em um iPhone comum. Isso não é apenas uma demonstração; o modelo entrega 11 tokens por segundo, transformando um dispositivo de bolso em um poderoso motor de IA local.

Tal modelo normalmente exige uma memória imensa. Um modelo de 35B parâmetros, mesmo quando quantizado para precisão de 4 bits, requer aproximadamente 20 gigabytes (GB) de RAM. Isso excede em muito a memória física disponível na maioria dos dispositivos móveis, que geralmente limitam-se a 8 GB, criando uma barreira fundamental para a IA no dispositivo.

Superar essa restrição depende da arquitetura Mixture of Experts (MoE). Ao contrário dos modelos densos tradicionais, onde cada parâmetro é ativado para cada computação, os modelos MoE são ativados de forma esparsa. Para qualquer entrada, um componente 'roteador' seleciona e ativa de forma inteligente apenas um pequeno subconjunto de 'especialistas' especializados dentro do modelo.

Essa ativação esparsa altera fundamentalmente o gerenciamento de memória. Em vez de carregar todo o modelo de 20 GB na RAM, apenas os especialistas ativos no momento, juntamente com componentes essenciais como mecanismos de atenção, precisam residir na memória ativa. Isso reduz significativamente o uso de memória em tempo real, permitindo que a maior parte do modelo permaneça em um armazenamento mais lento e maior, como o SSD do iPhone, até ser necessário.

Executar um LLM de 35B parâmetros na memória limitada de um iPhone requer uma estratégia inteligente de particionamento de memória. Um núcleo compacto de 1,4 GB de componentes essenciais do modelo permanece residente na RAM, compreendendo:

• Embeddings
• Mecanismos de atenção
• Roteadores
• Um especialista compartilhado

Os 12 GB restantes, consistindo nos 40 arquivos de especialistas do modelo (cerca de 300 MB cada), ficam no SSD de alta velocidade do iPhone.

Para cada token gerado, o sistema inicia um processo de recuperação dinâmica. Um roteador interno seleciona oito especialistas específicos por camada entre as 256 opções do modelo, em todas as 40 camadas. O motor então lê esses arquivos de especialistas escolhidos diretamente do SSD para a memória da GPU. Isso resulta em aproximadamente 320 pequenas leituras por token, garantindo que apenas os parâmetros necessários sejam carregados para computação imediata.

Esse streaming de especialistas sob demanda reduz drasticamente o uso de memória ativa. Embora o modelo Qwen 3.5 possua 35 bilhões de parâmetros, apenas cerca de 3 bilhões estão ativos para qualquer token individual. Essa alocação eficiente de recursos é a chave para operar um modelo dessa magnitude em hardware de consumo, aproveitando o SSD como uma "RAM virtual" estendida de alta velocidade para a grande maioria dos parâmetros inativos.

Os desenvolvedores implementaram inicialmente um cache personalizado substancial de 9,8 GB dentro de seu aplicativo para gerenciar dados de especialistas. Contraintuitivamente, excluir esse sistema sob medida e, em vez disso, confiar no cache de página nativo do iOS proporcionou um aumento de desempenho notável de 38%. Esse resultado inesperado destaca um princípio fundamental do design de sistemas operacionais.

Alocar um bloco de RAM tão grande e fixo para o cache exclusivo do aplicativo provou ser prejudicial. Essa estratégia inadvertidamente privou dois recursos críticos do sistema: a GPU, que requer memória significativa para computação, e os mecanismos de cache dinâmicos e sofisticados do próprio sistema operacional. A reserva de memória explícita do aplicativo essencialmente competiu com, em vez de complementar, o SO.

O page cache do iOS surgiu como o herói desconhecido, gerenciando dinamicamente a RAM disponível. Ele retém de forma inteligente especialistas acessados com frequência na memória, antecipando necessidades futuras. Este sistema é muito mais eficiente, adaptando-se às demandas gerais do sistema e garantindo a alocação ideal de memória em todos os processos sem exigir que o aplicativo faça a pré-alocação.

Atender aos exigentes requisitos de velocidade de leitura de mais de 5 GB/s é fundamental para sustentar 11 tokens por segundo. O armazenamento flash físico do iPhone, no entanto, atinge um pico de aproximadamente 1,6 GB/s. Consequentemente, o sistema operacional orquestra a maioria das leituras de especialistas diretamente da RAM via seu page cache, um fator crítico para modelos como a variante Qwen 3.5 A3B. Saiba mais sobre sua arquitetura em Qwen3.5-35B-A3B - ModelScope.

Alcançar esse desempenho nativo do iPhone também exigiu uma abordagem diferenciada para a compressão de modelos: quantização em camadas (tiered quantization). Os desenvolvedores observaram que cerca de 25% dos 'especialistas' do modelo Mixture of Experts (MoE) realizavam cerca de 80% do trabalho. Esses especialistas "quentes", acessados com frequência, mantêm uma precisão de 4 bits de maior qualidade, preservando informações críticas.

Em contraste, os especialistas "frios" restantes, menos utilizados, passam por uma compressão mais profunda, reduzindo seu tamanho para apenas 2 bits. Esse tratamento diferencial inteligente reduz a pegada de armazenamento geral do modelo em substanciais 34%, diminuindo-o de 19 GB iniciais para 13 GB.

Essa redução significativa no tamanho do disco impacta diretamente o desempenho, permitindo que mais pesos do modelo Qwen 3.5 residam dentro do eficiente page cache do iOS. Ajustar mais dados na memória rápida contribui substancialmente para a velocidade de geração observada de 11 tokens por segundo, minimizando a dependência de leituras mais lentas do SSD.

Essa computação intensa e sustentada em um dispositivo móvel compacto gera inevitavelmente um calor substancial; os usuários relatam que o iPhone fica visivelmente quente, até mesmo "derretendo na minha mão", segundo um desenvolvedor. Isso destaca os desafios térmicos práticos de levar a inferência de IA aos seus limites em hardware de consumo.

Além disso, os desenvolvedores encontraram um bug crítico em que o modelo ficava preso em um loop infinito, repetindo tokens após algumas palavras. A função async_pread_wait, responsável por ler dados de especialistas do armazenamento, exigiu uma correção urgente. Inicialmente, ela falhou em validar corretamente as leituras para os especialistas "frios" de 2 bits com metade do tamanho, ignorando-os silenciosamente e efetivamente executando o modelo com informações incompletas. Corrigir essa falha foi crucial para uma saída estável e coerente.

Qual é a técnica central que permite que um modelo 35B seja executado em um iPhone?

A técnica aproveita uma arquitetura de modelo Mixture of Experts (MoE). Em vez de carregar todo o modelo de 20 GB na RAM, apenas um núcleo de 1,4 GB permanece residente, enquanto o restante dos 'especialistas' do modelo é transmitido do armazenamento SSD rápido do telefone sob demanda, conforme necessário para cada geração de token.

Qual modelo foi usado na demonstração?

A demonstração usou o Qwen 3.5, um modelo Mixture of Experts de 35 bilhões de parâmetros. Especificamente, é a variante A3B, o que significa que apenas cerca de 3 bilhões de parâmetros estão ativos para qualquer token único.

O que é um modelo Mixture of Experts (MoE)?

Um MoE é uma arquitetura de rede neural onde o modelo é composto por muitas redes de 'especialistas' menores. Para qualquer entrada, um mecanismo de roteamento seleciona um pequeno subconjunto desses especialistas para processá-la. Essa ativação esparsa os torna altamente eficientes para inferência.

Que tipo de desempenho foi alcançado no iPhone?

A configuração alcançou uma velocidade de geração de 11 tokens por segundo. No entanto, esse nível de processamento fez com que o iPhone esquentasse visivelmente muito rápido.