Seu Hardware Antigo Agora é um Supercomputador de IA

A IA em nuvem parece livre até que a conta chegue. A precificação por token em APIs no estilo GPT transforma cada experimento em uma pequena decisão financeira, e essas decisões somam rapidamente quando você está passando de um protótipo de fim de semana para um produto. Crie alguns agentes, transmita contextos longos ou execute um lote de testes A/B, e você estará olhando para um gráfico de uso que se parece menos com uma utilidade e mais com o salário de um novo funcionário.

A economia baseada em tokens pune a curiosidade. Quer comparar três diferentes Modelos de IA em um conjunto de dados de 100.000 tokens? Isso significa centenas de milhares de tokens cobrados a cada execução, antes mesmo de saber se a ideia funciona. Amplie isso para uma equipe de desenvolvedores testando endpoints o dia todo, e o "apenas tente" morre silenciosamente sob limites de taxa e alertas de orçamento.

O custo é apenas metade do problema. Cada solicitação, registro e dado do usuário que você envia para uma API na nuvem passa pela infraestrutura de outra pessoa, regida por suas políticas de retenção, seus controles de acesso e seu risco de violação. Para dados de saúde, finanças ou produtos internos, "confie em nós, anonimamos" soa frágil quando reguladores e clientes começam a fazer perguntas difíceis.

Possuir os dados significa possuir o caminho de computação que eles percorrem. A inferência local mantém as entradas brutas, os embeddings intermediários e as saídas geradas em máquinas que você controla, atrás do seu próprio firewall, sob suas próprias regras de auditoria. Sem transferências de dados entre fronteiras, sem registros de terceiros, sem misteriosos programas de “melhoria de modelo” treinados em seu corpus proprietário.

A Exo muda a configuração padrão de alugar capacidade computacional para possuí-la. Ao invés de pagar à OpenAI ou Anthropic por token indefinidamente, a Exo transforma os Macs, equipamentos Linux e até mesmo Raspberry Pis que você já possui em um cluster de IA peer-to-peer. Sua rede se torna o datacenter, e seu orçamento com hardware se torna uma despesa de capital única em vez de uma assinatura infinita.

Essa reestruturação leva a uma pergunta direta: e se você nunca precisasse de uma GPU na nuvem novamente? Os próprios benchmarks da Exo mostram Modelos de IA com 235B a 671B de parâmetros rodando em clusters de Macs da série M em uma rede local. Então, o que acontece com a taxa de IA na nuvem quando um monte de máquinas "antigas" pode substituir um rack A100?

A Inteligência Artificial em Nuvem parece como alugar um carro esportivo por minuto. Exo inverte esse modelo: é um sistema de código aberto que transforma a pilha aleatória de máquinas na sua mesa e no seu armário em um cluster de IA peer-to-peer. Sem nuvem, sem imposto por token, apenas o seu hardware agindo como um único acelerador gigante.

Pense nisso como um cluster Beowulf para LLMs, sem a dor de cabeça do networking em graduações. Clusters HPC tradicionais exigem configurações manuais, planilhas de IP e um fim de semana perdido com erros de MPI. O Exo auto-descobre dispositivos na sua rede local, negocia como utilizá-los e expõe um endpoint HTTP limpo no estilo OpenAI para seus aplicativos.

O truque principal: Exo aproveita a memória e o processamento em dispositivos heterogêneos para que eles se comportem como uma única GPU lógica. Seu MacBook Pro, uma torre Linux e alguns Raspberry Pis deixem de ser brinquedos isolados e comecem a agir como uma máquina unificada. Você troca “cabe nesta GPU?” por “cabe na minha casa?”

Sob o capô, o Exo inspeciona a largura de banda, latência e RAM livre de cada nó, e então particiona os Modelos de IA de acordo. Ele utiliza paralelismo de tensores e paralelismo em pipeline para dividir enormes matrizes de pesos e pilhas de camadas entre os dispositivos, transferindo ativações pela sua LAN. Na prática, você obtém VRAM compartilhada, mesmo que cada máquina tenha apenas algumas dezenas de gigabytes por conta própria.

A Exo foca puramente na inferência, não no treinamento, o que torna o problema manejável e a experiência do usuário agradável. Você carrega pesos pesados pré-treinados como Llama 3 ou DeepSeek V3 e apenas gera. Sem retropropagação, sem estado de otimizador, sem treinos de múltiplos dias para cuidar.

Números tornam isso real. Os benchmarks da comunidade mostram que o Qwen 3 235B está operando a cerca de 32 tokens por segundo em quatro Mac Studios M3 Ultra. A Exo Labs, por sua vez, utilizou o DeepSeek V3 671B em oito Mac minis M4, reunindo aproximadamente 512 GB de memória efetiva com precisão de 8 bits.

Hardware misto não te desqualifica. Exo utiliza GPUs de silício Apple através do MLX no macOS, apoia-se em CPUs ou GPUs no Linux e pode até envolver Raspberry Pis para aumentar a RAM ou realizar cálculos leves. Conexões com fio e Thunderbolt 5 RDMA reduzem a latência o suficiente para que, a partir da perspectiva do modelo, suas máquinas dispersas se fundam em um único supercomputador de IA local.

A mágica aqui começa antes de qualquer comando ser enviado a um modelo de IA. Inicie o Exo em um MacBook, em um computador Linux ou em um Raspberry Pi, e ele imediatamente começa a auto-descoberta, escaneando sua rede local em busca de outros dispositivos compatíveis com Exo e agrupando-os em um único cluster. Sem painéis de controle, sem assistentes, sem aba "avançada" escondendo uma máscara de sub-rede.

Sistemas distribuídos tradicionais fazem você conquistar cada token de desempenho. Você gerencia endereços IP, portas abertas, edita YAML e supervisiona camadas de orquestração como Kubernetes, Slurm ou Ray. O Exo muda isso: ele se comporta mais como AirPlay do que MPI, mas para Modelos de IA em vez de alto-falantes.

Uma vez em funcionamento, o Exo avalia silenciosamente sua rede. Ele mede largura de banda, latência e memória disponível em cada nó, depois decide como dividir o Modelo de IA usando paralelismo de tensor e de pipeline. Um Raspberry Pi de 16 GB e um Mac Studio de 128 GB não recebem a mesma parte, e você nunca precisa alterar um arquivo de configuração para que isso seja verdade.

Faltam no fluxo de trabalho todas as tarefas usuais de computação distribuída. Você não: - Atribui manualmente IPs ou nomes de hosts - Escreve especificações YAML para todo o cluster - Configura filas do Docker Swarm, Kubernetes ou Slurm

Em vez disso, o Exo expõe um endpoint compatível com OpenAI na sua LAN e trata o seu conjunto de máquinas ad hoc como um único acelerador lógico. Você aponta seu aplicativo para uma URL local, e o Exo cuida do roteamento, agendamento e transferências entre dispositivos em segundo plano.

Contraste isso com a criação de um cluster equivalente na nuvem, onde você precisaria unir VPCs, grupos de segurança, grupos de nós e políticas de escalonamento automático antes mesmo de carregar um modelo de IA. Laboratórios caseiros usando exo: Execute seu próprio cluster de IA em casa com dispositivos do dia a dia pulam diretamente para a experimentação. O agrupamento sem configuração transforma “Eu tenho algum hardware antigo” em “Eu tenho um supercomputador de IA” com um único comando.

Cérebro que não cabe em uma máquina precisa ser fatiado. O truque da Exo é fragmentação de modelo: ela pega um gigantesco cérebro de IA e o divide em pedaços que podem viver em várias CPUs, GPUs, e até placas pequenas como Raspberry Pi, para então juntá-los novamente em tempo de execução. Para o seu aplicativo, ainda parece um único Modelo de IA por trás de um único ponto de extremidade no estilo OpenAI.

Por trás das câmeras, o Exo se baseia no paralelismo de tensores. Em vez de carregar uma camada inteira de transformador em um único dispositivo, ele divide os enormes tensores da camada — pesos, ativações, matrizes de atenção — entre várias máquinas. Cada dispositivo processa sua parte dos cálculos, e o Exo funde os resultados parciais na próxima etapa da computação.

O paralelismo em pipeline adiciona um segundo eixo. Exo pode atribuir diferentes camadas ou blocos do Modelo de IA a diferentes nós, transformando sua rede em uma linha de montagem. Os tokens fluem de uma camada de embrenhamento em uma caixa para blocos de atenção em outra, e depois para camadas de saída em outro lugar, tudo em um relé apertado.

A divisão inteligente só funciona se o sistema entender o layout físico do cluster. O Exo realiza particionamento consciente da topologia: ele examina cada nó em busca de VRAM, RAM do sistema, tipo de CPU e armazenamento, e depois mede a latência e a largura de banda através de Wi-Fi, Ethernet e Thunderbolt. Esse perfil determina como ele escolhe as divisões de tensor em relação às divisões de pipeline e onde cada fragmento é alocado.

Um Mac poderoso com uma GPU moderna da Apple acaba suportando as camadas mais pesadas. O Exo pode fixar a atenção e os blocos de feed-forward com as maiores matrizes de parâmetros em um MacBook Pro com M4 Pro, usando a pilha MLX da Apple para manter os dados na GPU tanto quanto possível. Esses segmentos atrelados à GPU permanecem no silício mais rápido, minimizando transferências onerosas.

Enquanto isso, dispositivos mais fracos ainda contribuem. Um Raspberry Pi na mesma LAN pode hospedar partes mais leves e mais exigentes em CPU do gráfico: tokenização, lógica de roteamento, pequenas camadas de projeção ou pós-processamento. O Exo trata esse Pi como mais um alvo de shard, agendando tarefas que se ajustam à sua RAM limitada e núcleos modestos.

Quando o gráfico é executado, ativações fluem pela rede entre os fragmentos. Em Macs compatíveis conectados via Thunderbolt 5, o Exo até utiliza transferências de GPU para GPU no estilo RDMA, reduzindo a latência em até 99% em comparação com a passagem pelo CPU. Quatro Mac Studios M3 Ultra, por exemplo, podem cooperar em uma configuração de 235B de parâmetros do Qwen 3 e ainda processar cerca de 32 tokens por segundo usando essa abordagem.

As APIs de IA em nuvem parecem elegantes porque escondem todas as partes difíceis: rede, balanceamento de carga, transmissão de tokens de volta via HTTP. O Exo discretamente se apropria desse manual e o coloca no seu laptop. Ao inicializá-lo, você recebe um endpoint HTTP local que se comporta como a API do OpenAI, mas cada token vem do hardware que você já possui.

Para desenvolvedores, a integração parece quase insultuosamente simples. Em qualquer lugar que seu código aponta para `https://api.openai.com`, você apenas substitui a URL base por `http://localhost:11434` (ou qualquer que seja a porta que o Exo utiliza) e mantém os mesmos payloads JSON compatíveis com OpenAI. Chamadas existentes para `/v1/chat/completions` ou `/v1/completions` apenas são redirecionadas para o seu cluster Exo em vez dos servidores da OpenAI.

Essa mudança de uma linha é importante se você já envia aplicativos com inteligência artificial. Seus ferramentas de linha de comando, extensões de navegador ou serviços de backend podem manter suas atuais estruturas de requisições, tratamento de erros e lógica de streaming. Você mantém a ergonomia de uma API em nuvem refinada enquanto o Exo cuida da divisão, agendamento e detecção de hardware em segundo plano.

A compatibilidade vai além do código personalizado. Ferramentas como Open WebUI podem se comunicar com o Exo como se fosse o OpenAI, oferecendo uma interface privada no estilo ChatGPT que nunca sai da sua LAN. Aponte a "URL base do OpenAI" do Open WebUI para `localhost`, selecione um Modelo de IA que o Exo hospeda, e você obtém um console de chat completo alimentado por seus Mac minis, boxes Linux e Raspberry Pis.

Executar tudo localmente altera a economia e o modelo de ameaças. Sem contas surpresas por token, sem limites de taxa restringindo experimentos e sem solicitações ou documentos cruzando um data center de terceiros. Para equipes que lidam com registros de clientes, código proprietário ou dados regulamentados, uma API compatível com o OpenAI local pode significar evitar revisões de conformidade dolorosas.

A experiência do desenvolvedor permanece familiar enquanto sua infraestrutura se inverte. Você ainda faz `POST` de JSON, analisa respostas e registra tokens, mas agora você pode escalar conectando outro MacBook em vez de solicitar um aumento de cota. O Exo transforma sua rede em uma infraestrutura privada de IA, com a mesma superfície de API que você já conhece e muito mais controle sobre o que acontece por trás das câmaras.

RDMA parece uma sopa de letras de redes, mas no hardware mais recente da Apple, ele silenciosamente ativa um recurso: seu cabo Thunderbolt se transforma em um cordão umbilical de alta velocidade entre GPUs. Acesso Direto Remoto à Memória sobre o Thunderbolt 5 permite que a GPU de um Mac leia e escreva diretamente na memória de outro Mac, ignorando completamente a CPU.

Configurações tradicionais de múltiplas máquinas transmitem tensores entre a CPU de cada sistema e a RAM do sistema, acrescentando milissegundos de sobrecarga em cada salto. O RDMA elimina esse desvio, reduzindo a latência entre os nós em até 99% e transformando o Thunderbolt 5 em algo mais próximo de um tecido PCIe interno do que de uma porta externa.

Com o Exo operando sobre isso, uma cadeia de Mac Studios ou Mac minis começa a se comportar como uma única e robusta caixa multi-GPU. As ativações fluem diretamente de uma GPU Apple para outra através do Thunderbolt 5, fazendo com que o fatiamento de tensores e pipelines do Exo pareça menos um cluster e mais como um SoC superdimensionado se espalhando entre as máquinas.

Os benchmarks dos testes de Jeff Geerling mostram como isso se traduz na prática: quatro M3 Ultra Mac Studios processando Qwen 3 235B a cerca de 32 tokens por segundo via RDMA sobre Thunderbolt. Essa é uma vazão em escala de nuvem, mas operando sob a mesa de alguém, não em uma região da AWS.

A Exo Labs levou a ideia adiante, executando o DeepSeek V3 671B em oito M4 Mac minis com uma memória combinada de 512 GB. O RDMA via Thunderbolt 5 fez com que esses oito pequenos dispositivos atuassem como uma única máquina poderosa, com um pool de memória compartilhada grande o suficiente para acomodar modelos de IA que normalmente residem apenas em clusters H100 empresariais.

Para os produtores-consumidores, isso altera a viabilidade de forma instantânea. Em vez de alugar dezenas de GPUs de alto desempenho por hora, você pode conectar em cascata alguns Macs equipados com Thunderbolt 5 e deixar que o Exo os trate como um único acelerador lógico para Modelos de IA com mais de 200 bilhões de parâmetros.

Qualquer um que esteja planejando um rack de IA caseiro agora tem uma receita clara: - Máquinas Apple silicon compatíveis com Thunderbolt 5 - Cabos em vez de switches no topo do rack - Exo orquestrando sharding e RDMA

Os detalhes, configurações suportadas e o roadmap estão disponíveis no Site Oficial da Exo, que funciona efetivamente como documentação para transformar o Thunderbolt 5 em sua própria infraestrutura de IA privada.

Os benchmarks transformam o Exo de um truque de rede interessante em um motor de Modelos de IA credível. Os números dos primeiros adotantes mostram que “executar um Modelo de IA de 200B+ em casa” não é mais um meme, especialmente se você conectar tudo e deixar o Exo lidar com a lógica de sharding por você.

A configuração de Jeff Geerling parece um sonho febril de laboratório em casa: quatro Mac Studio M3 Ultra interconectados com Thunderbolt 5. Usando o paralelismo tensorial da Exo e RDMA, ele executou QwQ‑32B‑235B nessas máquinas e alcançou cerca de 32 tokens por segundo de geração sustentada, com aproximadamente 15 TB de memória equivalente a VRAM disponível para o cluster.

Esses números são importantes porque estão na mesma faixa dos serviços de nuvem pagos que alugam rigs de múltiplas GPUs A100 ou H100 por minuto. O relatório de Geerling mostra ganhos quase lineares à medida que ele adiciona cada M3 Ultra, com a Exo automaticamente distribuindo mais dos Modelos de IA pela nova memória e computação sem necessidade de reconfiguração manual. Esse é exatamente o tipo de comportamento de escalabilidade que você espera de uma pilha de inferência distribuída séria, e não de um projeto paralelo de fim de semana.

A ExoLabs se esforçou ainda mais com o DeepSeek V3 671B, um tamanho de modelo geralmente reservado para data centers de hiperescaladores. Seu benchmark interno executou os Modelos de IA quantizados em 8 bits em um cluster de oito sistemas M4 Mac mini, reunindo cerca de 512 GB de memória unificada. Os números de tokens por segundo caem em comparação com modelos de IA menores, mas o principal é simples: um Modelo de IA com 671 bilhões de parâmetros pode responder a solicitações a partir de uma pilha de minis sob a mesa de alguém.

A rede é o que faz ou quebra esses resultados. Conexões cabeadas — 10 GbE, Thunderbolt 4 e especialmente Thunderbolt 5 com RDMA — mantêm o tráfego de ativação rápido o suficiente para que o cluster se comporte como uma grande máquina. Os testes de Geerling e as execuções da ExoLabs mostram que, quando você recorre ao Wi-Fi, a capacidade de transmissão despenca e a latência dispara, à medida que cada salto entre nós enfrenta a congestão do wireless para consumidores.

A escalabilidade também parece brutalmente simples: mais memória significa modelos de IA maiores e mais largura de banda significa mais tokens por segundo. Adicione dispositivos e o Exo simplesmente: - Mede a largura de banda, latência e memória livre - Redefine os modelos de IA com paralelismo tensorial e de pipeline - Mantém o endpoint compatível com OpenAI estável para seus aplicativos

Os benchmarks tanto da comunidade quanto da ExoLabs provam que isso não é um experimento teórico. Com Macs suficientes em uma rede com fio, a Exo transforma um conjunto de desktops e minis em um supercomputador local de IA que alcança territórios entre 200B e 671B sem depender da nuvem.

Então você quer montar seu próprio cluster de IA em um fim de semana? Comece pequeno e com fio. A configuração ideal inicial utiliza duas máquinas razoavelmente poderosas em Ethernet: por exemplo, um MacBook Pro M2 Pro ou M3 como o nó primário, além de um PC desktop ou um segundo Mac em gigabit ou 2,5 GbE. O Wi-Fi funciona para testes, mas conexões com fio mantêm a latência previsível uma vez que você escale além de prompts simples.

A instalação permanece refrescantemente chata. Instale o Exo a partir do GitHub ou do site oficial em ambas as máquinas, execute o daemon do Exo e aguarde alguns segundos. Os dispositivos se descobrem automaticamente na sua LAN, medem a largura de banda e a memória, e concordam silenciosamente sobre como dividir os Modelos de IA.

Comece com um único modelo quantizado de tamanho médio, não um monstro de fronteira. Um bom alvo inicial: um modelo de IA com 70 bilhões de parâmetros em quantização de 4 bits, que se adapta confortavelmente em duas máquinas modernas com uma memória combinada de 64 a 128 GB de RAM ou memória unificada. Você aprende o fluxo de trabalho—baixar pesos, iniciar o Exo, acessar o endpoint compatível com OpenAI local—antes de buscar experimentos com mais de 200 bilhões de parâmetros.

Uma vez que isso funcione, comece a misturar hardware. Trate seu Mac ou caixa Linux mais rápida como o "cérebro" e conecte tudo o que tiver: laptops Intel sobressalentes, um mini-PC, talvez um Raspberry Pi 5. O planejador consciente da topologia da Exo irá direcionar fragmentos pesados de tensores para o nó mais potente e descarregar camadas mais leves ou tarefas amigáveis à CPU para o equipamento mais antigo.

Você pode levar isso adiante com uma estratégia simples:

• 1Coloque os maiores pesos de modelos de IA na máquina com mais RAM/VRAM.
• 2Mantenha todos os nós do cluster conectados via Ethernet com fio ou Thunderbolt sempre que possível.
• 3Use Wi-Fi apenas para dispositivos de baixo impacto, como Raspberry Pi ou telefones Android.

Em novos silícios da Apple, o Thunderbolt 5 se torna um multiplicador de força. O Exo pode usar RDMA sobre Thunderbolt 5 para transferências de memória entre GPUs, reduzindo a latência para que múltiplos Macs comecem a se comportar como uma única caixa unificada e robusta. É assim que configuracões comunitárias alcançam números como Qwen 3 235B a ~32 tokens/segundo em quatro Mac Studios M3 Ultra—sem GPUs na nuvem, apenas fiação cuidadosa e quantização.

As contas de IA em nuvem parecem uma fraude, mas a IA local tem suas próprias letras miúdas. A Exo transfere custos de tokens para hardware e eletricidade, e a maior limitação já não é mais a VRAM, mas sim a largura de banda da rede. Quando você distribui um modelo de IA com 235B ou 671B de parâmetros entre várias máquinas, cada token se torna um problema de sistemas distribuídos.

A velocidade de rede e a latência dominam tudo. Um link cabeado de 10 Gbps ou Thunderbolt 5 pode manter os tensores em fluxo; um roteador Wi-Fi 5 congestionado absolutamente não pode. O Exo ainda funcionará no Wi-Fi, mas você troca a fantasia de “supercomputador de IA” por algo mais próximo de um chatbot educadamente lento.

A topologia é tão importante quanto a computação bruta. A Exo constantemente transfere ativações entre os nós, portanto, um único salto com atraso pode travar todo o pipeline. Alta latência entre mesmo duas máquinas—digamos, um Mac mini no escritório e um Raspberry Pi via Ethernet por linha elétrica—pode diminuir drasticamente os tokens por segundo.

Sons de hardware misto parecem românticos até que o problema do “nó mais lento” apareça. Se você conectar um MacBook Pro M4 Max a um Raspberry Pi 4 e a um antigo Intel NUC, o Exo precisará regular sua velocidade em função do dispositivo que concluir sua parte por último. Você pode mitigar isso ao: - Manter camadas pequenas ou amigáveis ao CPU em nós mais fracos - Excluir dispositivos realmente subdimensionados de grandes Modelos de IA - Usar Ethernet com fio para qualquer coisa que participe do caminho crítico

RDMA sobre Thunderbolt 5 ajuda, mas apenas em configurações específicas da Apple. Os benchmarks de Jeff Geerling em 15 TB de VRAM no Mac Studio: RDMA sobre Thunderbolt 5 mostram como transferências de GPU para GPU de baixa latência transformam quatro Mac Studios M3 Ultra em algo que se comporta como uma única GPU gigante. A maioria das pessoas não alcançará esses números em um monte aleatório de laptops.

Um limite adicional: a Exo faz apenas inferência. Treinar Modelos de IA, até mesmo o ajuste fino, requer padrões de memória diferentes, estado do otimizador e sincronização de gradiente que a Exo simplesmente não implementa atualmente.

A IA em nuvem parecia inevitável: um punhado de hyperscalers alugando inteligência por token. A Exo sugere uma trajetória diferente, onde Modelos de IA rodam em uma rede de laptops, Minis e placas para iniciantes que você já possui. Em vez de enviar solicitações para uma fazenda de GPUs distante, você mantém a computação, os custos e o controle dentro de suas próprias paredes.

AI prioritário em privacidade, descentralizada e local deixa de ser um nicho para entusiastas quando um MacBook, uma torre Linux e um Raspberry Pi podem coletivamente servir um modelo de 235 bilhões de parâmetros. O endpoint compatível com OpenAI da Exo significa que qualquer aplicativo que se comunica com api.openai.com pode, em vez disso, se comunicar com http://localhost e nunca perceber a diferença. Essa troca remove completamente a precificação por token da equação.

Para os desenvolvedores, isso parece ser como ter um laboratório de pesquisa sem precisar de um orçamento de pesquisa. Quer experimentar o Deepseek V3 671B quantizado em 8 Mac minis M4 e 512 GB de memória agrupada? Você não precisa mais de um rack de A100s na AWS ou de uma linha de crédito de seis dígitos; você precisa de algumas máquinas decentes e um pouco de paciência. Essa mudança é mais importante do que qualquer gráfico de benchmark isolado.

Os entusiastas de repente estão muito mais próximos da fronteira. Um estudante com dois Mac minis usados e um PC de jogos de segunda mão pode rodar agentes, chamadas de ferramentas e pipelines RAG em Modelos de IA que costumavam estar apenas atrás de NDAs empresariais. Quando você pode bifurcar o Exo do GitHub, conectar algumas caixas e obter mais de 30 tokens/segundo em um modelo de 235 bilhões de parâmetros, a linha entre "laboratório em casa" e "infraestrutura de startup" se torna indefinida.

A vantagem das Big Tech sempre foi a escala: data centers, aceleradores proprietários e pesos de modelo privados. Ferramentas como Exo atacam essa barreira de baixo para cima, transformando escala em um problema de software, e não de capital. Se alguns cabos Thunderbolt 5 e RDMA conseguem fazer quatro desktops M-series se comportarem como uma única GPU robusta, o argumento para alugar essa GPU por milissegundo enfraquece.

A IA descentralizada não substituirá a IA em nuvem de forma completa; os hyperscalers ainda controlam o treinamento e a distribuição global. Mas a inferência está aberta à competição. À medida que o Exo e projetos semelhantes amadurecem, executar modelos de IA sérios localmente parecerá menos uma gambiarra e mais a norma.

O que é Exo?

Exo é uma ferramenta de código aberto que permite combinar vários dispositivos na sua rede local—como Macs, PCs com Linux e Raspberry Pis—em um único cluster distribuído para executar grandes modelos de IA para inferência sem usar a nuvem.

Quais hardware o Exo suporta?

A Exo suporta uma mistura de hardware heterogêneo, incluindo macOS (Apple Silicon), Linux e dispositivos Android. Isso permite que os usuários reúnam recursos de laptops, desktops, telefones e computadores de placa única, como o Raspberry Pi.

Como a Exo lida com diferentes tipos de hardware em um único cluster?

O Exo descobre automaticamente dispositivos, mede sua memória disponível e desempenho de rede, e então divide inteligentemente o modelo de IA entre eles utilizando paralelismo de tensor e de pipeline. Ele usa a estrutura MLX da Apple em Macs e pode recorrer a CPUs em sistemas Linux.

Posso usar o Exo para treinar modelos de IA?

Não, o Exo foi especificamente projetado para a inferência de modelos de IA, que é o processo de execução de um modelo pré-treinado. Não é otimizado para a tarefa computacionalmente intensiva de treinar modelos do zero.