Mamba-3 chega ao ICLR 2026: como o novo modelo de espaco de estados corta pela metade o tamanho do estado e ainda ganha em precisao

Resumo: Publicado como conference paper no ICLR 2026, o "Mamba-3: Improved Sequence Modeling using State Space Principles" (arXiv 2603.15569) apresenta três avanços que voltam a colocar as arquiteturas de espaço de estados (SSMs) no páreo contra Transformers e modelos híbridos. A dupla Albert Gu e Tri Dao — pais do Mamba original — recruta Aakash Lahoti, Kevin Y. Li, Berlin Chen, Caitlin Wang, Aviv Bick e J. Zico Kolter para propor uma recorrência derivada de discretização mais expressiva, uma atualização de estado com valores complexos e uma formulação multi-input, multi-output (MIMO). O resultado em benchmarks: o modelo Mamba-3 de 1,5B ganha 0,6 ponto em precisão média sobre o Gated DeltaNet, com a variante MIMO acrescentando outros 1,2 pontos — tudo sem aumentar a latência de decodificação. E, talvez o mais importante, o Mamba-3 empata em perplexidade com o Mamba-2 usando metade do tamanho de estado. Para quem opera inferência de LLMs, isso muda a matemática de KV-cache e de custo por token.

Por que outra revisão do Mamba importa

As arquiteturas SSM, popularizadas em 2023 com o Mamba, prometem tempo linear na sequência e memória constante durante a decodificação — algo que ataca a dor mais cara de operar LLMs em produção: KV-cache que explode com o contexto. O Mamba-2 evoluiu essa ideia para uma perspectiva unificada entre atenção linear e SSMs. Mesmo assim, ficaram lacunas: state-tracking limitado, gargalos de expressividade em tarefas de recuperação (needle-in-a-haystack) e uma equação de recorrência que não capturava fenômenos como oscilação sem custo extra.

O Mamba-3 mira exatamente esses pontos. A partir de uma discretização inspirada em métodos de Runge-Kutta, os autores derivam uma recorrência mais rica que consegue aproximar dinâmicas contínuas melhores — sem virar RNN "clássica" cheia de instabilidade. Em cima disso, o estado passa a ser tratado como vetor complexo: o mesmo argumento matemático que faz redes com fasores conseguirem rastrear paridade e contagem em sequência agora vale para o Mamba, cortando defeitos históricos de SSMs em benchmarks como MQAR e ListOps.

A cereja é a formulação MIMO. Na versão anterior, cada canal do modelo processava informação de forma independente. Agora, várias entradas e várias saídas convivem numa mesma recorrência matricial, o que multiplica a capacidade de "escrever" e "ler" do estado por passo — sem alongar a decodificação. Traduzindo: mais capacidade sem pagar mais latência.

Resultados que valem a atenção

Nos experimentos, os autores treinaram famílias de modelos de 340M até 2,7B. Alguns pontos chamam a atenção:

• No 1,5B, o Mamba-3 base sobe 0,6 ponto em accuracy média downstream em relação ao Gated DeltaNet — considerado o baseline linear mais competitivo até então.
• A variante MIMO acrescenta outros 1,2 pontos, sem custo de decodificação.
• Em state-tracking (paridade, contagem, associação key-value), o ganho sobre Mamba-2 chega a dígitos duplos em algumas categorias.
• Contra a família Llama 3 densa, o Mamba-3 iguala perplexidade e supera em tarefas de longo contexto, mantendo memória constante.
• Talvez o mais chamativo: mesma perplexidade do Mamba-2 com metade do estado — o que quer dizer menos VRAM por token e maior throughput em GPUs modestas.

Para infraestrutura, essa combinação abre uma janela concreta para inferência em edge e em GPUs de 24 GB, além de reduzir custo em servidores centrais.

Por que importa (e o status no Brasil)

Aplicações brasileiras que dependem de longo contexto — jurídicas, editoriais, análise de contratos, healthcare — pagam caro pela conta de KV-cache dos Transformers atuais. Um modelo com estado constante e qualidade equivalente muda a economia dessas ofertas: fica mais barato colocar 100 mil tokens de contexto num único prompt, e times pequenos conseguem servir LLMs decentes com hardware doméstico ou "prosumer".

Além disso, o Brasil tem tradição em pesquisa em processamento de linguagem em português e um ecossistema crescente de fine-tuning aberto (Sabiá, Bode, Cabrita, Serena). Uma arquitetura como Mamba-3, cuja receita de treino é publicada e cujos pesos costumam vir sob licença permissiva, acelera adaptações locais — desde que haja capacidade de treinar, o que ainda depende de acesso a GPUs.

Riscos e limitações

Nem tudo é vitória imediata. Primeiro, SSMs continuam tendo mais dificuldade em tarefas de recuperação "exata" (por exemplo, encontrar um trecho específico dentro de 200 páginas) do que atenção plena. O Mamba-3 melhora, mas não elimina o gap. Segundo, o ecossistema de tooling — quantização, servidores como vLLM/SGLang, LoRA, deployments em Blackwell — ainda gira majoritariamente em torno de Transformers. Portar para Mamba-3 dá trabalho.

Terceiro, ganho de eficiência não é sinônimo de segurança: modelos menores e mais baratos também são mais fáceis de rodar off-grid, o que reduz visibilidade regulatória. Por último, o paper foca em pré-treinamento; falta consolidação em técnicas de pós-treinamento (RLHF/DPO em SSMs) e em usos agênticos, que exigem mais do que boa perplexidade.

Cenário

A leitura mais provável para 2026–2027 é a de híbridos: camadas Mamba-3 misturadas com atenção esparsa, KV-cache compressivo e roteamento MoE. Nvidia, Cerebras e AMD já mostraram interesse comercial em rodar SSMs porque simplificam o problema de memória. Nas frentes acadêmicas, esperem uma corrida por versões "instruct" abertas de Mamba-3, benchmarks de longo contexto customizados e experimentos em vídeo/áudio, onde a linearidade da SSM brilha.

Conclusão prática

Para times de infraestrutura de IA, o Mamba-3 é bandeira que vale acompanhar: se os números do paper aguentarem replicação, o custo por token cai e a matemática de "quantos usuários por GPU" muda. Para pesquisadores brasileiros, é oportunidade concreta de pegar carona no repositório oficial assim que ele for liberado e adaptar para tarefas de português. E para gestores de produto: se o roadmap depende de longo contexto barato, coloque um POC de Mamba-3 no próximo trimestre. Vale mais isso do que esperar o próximo GPT.

Fonte original: Lahoti, Li, Chen, Wang, Bick, Kolter, Dao & Gu — Mamba-3: Improved Sequence Modeling using State Space Principles (ICLR 2026, arXiv 2603.15569).