Apple usa MLX e RDMA para rodar modelo de 816B em Mac Studio

A Apple publicou em 15 de outubro de 2026, em seu portal de pesquisa em aprendizado de máquina, um estudo prático sobre como rodar modelos de linguagem muito grandes localmente em Mac Studio usando o MLX, o arcabouço de arrays de código aberto da empresa. O caso central é o Muse Spark Open, modelo aberto da Meta com cerca de 816 bilhões de parâmetros, distribuído por até quatro máquinas conectadas por Thunderbolt 5.

O resultado mais citável: mais de 36 tokens por segundo na fase de geração, com o modelo de 816 bilhões de parâmetros rodando em quatro Mac Studio com chip M5 Ultra. Para dimensionar, trata-se de inferência local, sem nuvem, de um modelo cuja versão em precisão BF16 ocupa aproximadamente 1,6 TB.

O que torna o trabalho tecnicamente interessante não é o número bruto, mas o componente que o viabilizou: o macOS 26.2 passou a oferecer um driver de RDMA (acesso direto à memória remota) de baixa latência sobre Thunderbolt 5. É essa peça que permite ao paralelismo de tensores — historicamente dependente de interconexões de datacenter — funcionar entre computadores de mesa.

Contexto: por que distribuir a inferência

Modelos abertos de grande porte passaram a exceder a memória de qualquer máquina individual, inclusive das estações mais fartas em memória unificada. O Muse Spark Open é um caso típico: anunciado pela Meta em 15 de outubro de 2026, é um modelo esparso de mistura de especialistas (MoE) com 816 bilhões de parâmetros totais e cerca de 42 bilhões ativos por token, 256 especialistas, janela de contexto de 1 milhão de tokens e entrada de texto, imagem, vídeo e áudio. Mesmo na quantização NVFP4, em que apenas os especialistas são quantizados, o modelo ocupa cerca de 530 GB — acima do teto de 512 GB de memória unificada de um único Mac Studio.

Daí a necessidade de dividir o modelo entre máquinas. Há duas estratégias clássicas, e o estudo da Apple compara as duas. No paralelismo de pipeline, cada máquina fica com um conjunto de camadas e os dados passam em sequência; a comunicação é pequena, mas há ociosidade. No paralelismo de tensores, cada camada é fatiada entre as máquinas, que trabalham simultaneamente e precisam sincronizar a cada passo — abordagem mais rápida em potencial, porém muito sensível à latência da interconexão. O Plugged Ninja já tratou dessa divisão de trabalho ao abordar a separação entre as fases de prefill e decode em serviços de inferência.

O hardware e a configuração do MLX

Os testes usaram Mac Studio com M5 Ultra, com até 512 GB de memória unificada, comparados a configurações com M3 Ultra. As diferenças de plataforma relevantes:

A interconexão usou cabos Thunderbolt 5 entre duas e quatro máquinas, com dois cabos por enlace para dobrar a banda disponível. No software, o MLX a partir da versão 0.30.1 acessa o RDMA por meio de um backend específico, e os processos são iniciados pelo utilitário de lançamento distribuído do próprio arcabouço. O estudo também ativa uma opção experimental de sincronização rápida no backend Metal.

Três modelos foram medidos, escolhidos para cobrir arquiteturas e precisões distintas: o Muse Spark Open (816 bilhões de parâmetros totais, 42 bilhões ativos, MoE, NVFP4), o Mistral Medium 3.5 (128 bilhões, denso, FP8) e o Qwen 3.8 (27 bilhões, denso, BF16).

Os números

Os ganhos aparecem em três frentes, e vale separá-las porque respondem a perguntas diferentes.

Troca de geração de chip. Em uma única máquina, o M5 Ultra entrega tempo até o primeiro token (TTFT) até 4,6 vezes menor que o M3 Ultra, e geração cerca de 1,6 vez mais rápida. A diferença muito maior no TTFT é coerente com o perfil das duas fases: o prefill é limitado por capacidade de cálculo, enquanto a geração é limitada por banda de memória — e a banda cresceu cerca de 1,5 vez entre as gerações.

Paralelismo de pipeline com duas máquinas. A geração fica praticamente inalterada, mas o prefill chega a ser cerca de 1,8 vez mais rápido em contextos de 65.536 tokens. Ou seja, o pipeline ajuda a ingerir prompts longos, não a produzir texto mais rápido.

Paralelismo de tensores. Aqui os ganhos de geração crescem com o número de máquinas, e o efeito da interconexão fica evidente: no Muse Spark Open com contexto de 65.536 tokens, o TTFT cai de aproximadamente 50,5 segundos com um cabo para 40,6 segundos com dois cabos por enlace. A banda da interconexão, portanto, é um parâmetro de projeto, não um detalhe de instalação.

Um achado contraintuitivo merece destaque: os modelos densos escalam melhor entre máquinas do que o modelo MoE. A explicação está na natureza do roteamento esparso — ativar apenas parte dos especialistas por token gera padrões de comunicação menos uniformes, que aproveitam menos o paralelismo. É um alerta útil para quem presume que arquiteturas MoE são sempre mais fáceis de distribuir por ativarem menos parâmetros.

Limitações declaradas

O próprio estudo delimita o alcance dos resultados, e essas ressalvas são o que separa o dado da propaganda:

• o Muse Spark Open não cabe em uma única máquina, de modo que a configuração multimáquina é requisito, não otimização;
• com duas máquinas e contexto de 65.536 tokens, o prefill sob paralelismo de tensores fica atrás do pipeline por causa do custo de comunicação — a escolha da estratégia depende do tamanho do contexto e do número de nós;
• o paralelismo de tensores é mais complexo de implementar e depende de RDMA de baixa latência, o que amarra o resultado ao macOS 26.2 e ao Thunderbolt 5;
• a opção de sincronização rápida no Metal é marcada como experimental;
• as medições usam lote de tamanho 1 e 128 tokens gerados, e o layout das tabelas não deixa claro qual tamanho de contexto corresponde a cada linha de geração.

Esse último ponto importa para qualquer comparação com inferência em nuvem: lote 1 é o cenário de usuário único. Serviços de produção operam com lotes grandes, em que a conta de custo por token é completamente diferente. Os números do estudo descrevem bem o caso de uso local e privado, e não devem ser lidos como equivalentes a desempenho de servidor.

Impactos e aplicações práticas

Para empresas, o atrativo é soberania de dados: rodar um modelo de fronteira aberto sem enviar nada para fora, com hardware de prateleira, em uma faixa de potência de centenas de watts em vez de dezenas de quilowatts. Casos em que isso muda a equação incluem análise de documentos sob sigilo, processamento de dados pessoais sob a LGPD e ambientes com restrição de conectividade. O custo de aquisição de quatro Mac Studio com memória máxima não é trivial, mas é comparável ao de uma única placa aceleradora de datacenter de geração recente, e dispensa infraestrutura de resfriamento e alimentação específicas.

Para pesquisadores, o valor está na reprodutibilidade: MLX e MLX LM são abertos sob licença MIT, e a documentação de inferência distribuída é pública, o que permite replicar o experimento sem acordo comercial. Para equipes de segurança, há um ponto de atenção pouco discutido — o RDMA sobre Thunderbolt expõe acesso direto à memória entre máquinas, o que faz do enlace físico uma fronteira de confiança. Um cluster montado sobre essa interconexão deve ser tratado como um único domínio de segurança, não como máquinas independentes em rede.

A tendência que o trabalho reforça é a de inferência local de modelos muito grandes se tornando praticável fora do datacenter, por uma combinação de memória unificada ampla, quantização agressiva de especialistas e interconexão de baixa latência em hardware de consumo. A Apple vinha explorando essa linha por outro caminho com o sistema Minions, que agrega GPUs de Macs ociosos em uma nuvem distribuída; o estudo com MLX e RDMA ataca o mesmo problema a partir do extremo oposto, com poucas máquinas fortemente acopladas em lugar de muitas máquinas fracamente acopladas.

Conclusão

O estudo entrega um dado verificável e reproduzível: um modelo aberto de 816 bilhões de parâmetros gerando acima de 36 tokens por segundo em quatro estações de trabalho conectadas por Thunderbolt 5, com RDMA habilitado pelo sistema operacional. Os ganhos de uma geração de chip para a outra são maiores na ingestão do prompt do que na geração, o paralelismo de tensores só compensa com interconexão de banda suficiente, e modelos densos distribuem melhor que MoE.

O que observar a seguir: medições com lotes maiores, que permitiriam comparação honesta com inferência em servidor; a saída do estado experimental da sincronização rápida no Metal; e se outros fabricantes de hardware de consumo adotam RDMA de baixa latência em interconexões padrão, o que ampliaria essa classe de configuração para além do ecossistema Apple.

Fontes e referências

• Apple Machine Learning Research — “Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio”: machinelearning.apple.com
• Meta AI — “Build with Muse Spark Open”, especificações do modelo: dev.meta.ai
• MLX LM — repositório oficial, licença MIT, com suporte a inferência distribuída: github.com/ml-explore/mlx-lm
• Plugged Ninja — “Minions: Apple transforma Macs ociosos em nuvem de GPU”: plugged.ninja