Mamba-3 chega ao ICLR 2026: como o novo modelo de espaco de estados corta pela metade o tamanho do estado e ainda ganha em precisao

Resumo: Publicado como conference paper no ICLR 2026, o "Mamba-3: Improved Sequence Modeling using State Space Principles" (arXiv 2603.15569) apresenta três avanços que voltam a colocar as arquiteturas de espaço de estados (SSMs) no páreo contra Transformers e modelos híbridos. A dupla Albert Gu e Tri Dao — pais do Mamba original — recruta Aakash Lahoti, Kevin Y. Li, Berlin Chen, Caitlin Wang, Aviv Bick e J. Zico Kolter para propor uma recorrência derivada de discretização mais expressiva, uma atualização de estado com valores complexos e uma formulação multi-input, multi-output (MIMO). O resultado em benchmarks: o modelo Mamba-3 de 1,5B ganha 0,6 ponto em precisão média sobre o Gated DeltaNet, com a variante MIMO acrescentando outros 1,2 pontos — tudo sem aumentar a latência de decodificação. E, talvez o mais importante, o Mamba-3 empata em perplexidade com o Mamba-2 usando metade do tamanho de estado. Para quem opera inferência de LLMs, isso muda a matemática de KV-cache e de custo por token.

Por que outra revisão do Mamba importa

As arquiteturas SSM, popularizadas em 2023 com o Mamba, prometem tempo linear na sequência e memória constante durante a decodificação — algo que ataca a dor mais cara de operar LLMs em produção: KV-cache que explode com o contexto. O Mamba-2 evoluiu essa ideia para uma perspectiva unificada entre atenção linear e SSMs. Mesmo assim, ficaram lacunas: state-tracking limitado, gargalos de expressividade em tarefas de recuperação (needle-in-a-haystack) e uma equação de recorrência que não capturava fenômenos como oscilação sem custo extra.

O Mamba-3 mira exatamente esses pontos. A partir de uma discretização inspirada em métodos de Runge-Kutta, os autores derivam uma recorrência mais rica que consegue aproximar dinâmicas contínuas melhores — sem virar RNN "clássica" cheia de instabilidade. Em cima disso, o estado passa a ser tratado como vetor complexo: o mesmo argumento matemático que faz redes com fasores conseguirem rastrear paridade e contagem em sequência agora vale para o Mamba, cortando defeitos históricos de SSMs em benchmarks como MQAR e ListOps.

A cereja é a formulação MIMO. Na versão anterior, cada canal do modelo processava informação de forma independente. Agora, várias entradas e várias saídas convivem numa mesma recorrência matricial, o que multiplica a capacidade de "escrever" e "ler" do estado por passo — sem alongar a decodificação. Traduzindo: mais capacidade sem pagar mais latência.

Resultados que valem a atenção

Nos experimentos, os autores treinaram famílias de modelos de 340M até 2,7B. Alguns pontos chamam a atenção:

  • No 1,5B, o Mamba-3 base sobe 0,6 ponto em accuracy média downstream em relação ao Gated DeltaNet — considerado o baseline linear mais competitivo até então.
  • A variante MIMO acrescenta outros 1,2 pontos, sem custo de decodificação.
  • Em state-tracking (paridade, contagem, associação key-value), o ganho sobre Mamba-2 chega a dígitos duplos em algumas categorias.
  • Contra a família Llama 3 densa, o Mamba-3 iguala perplexidade e supera em tarefas de longo contexto, mantendo memória constante.
  • Talvez o mais chamativo: mesma perplexidade do Mamba-2 com metade do estado — o que quer dizer menos VRAM por token e maior throughput em GPUs modestas.

Para infraestrutura, essa combinação abre uma janela concreta para inferência em edge e em GPUs de 24 GB, além de reduzir custo em servidores centrais.

Por que importa (e o status no Brasil)

Aplicações brasileiras que dependem de longo contexto — jurídicas, editoriais, análise de contratos, healthcare — pagam caro pela conta de KV-cache dos Transformers atuais. Um modelo com estado constante e qualidade equivalente muda a economia dessas ofertas: fica mais barato colocar 100 mil tokens de contexto num único prompt, e times pequenos conseguem servir LLMs decentes com hardware doméstico ou "prosumer".

Além disso, o Brasil tem tradição em pesquisa em processamento de linguagem em português e um ecossistema crescente de fine-tuning aberto (Sabiá, Bode, Cabrita, Serena). Uma arquitetura como Mamba-3, cuja receita de treino é publicada e cujos pesos costumam vir sob licença permissiva, acelera adaptações locais — desde que haja capacidade de treinar, o que ainda depende de acesso a GPUs.

Riscos e limitações

Nem tudo é vitória imediata. Primeiro, SSMs continuam tendo mais dificuldade em tarefas de recuperação "exata" (por exemplo, encontrar um trecho específico dentro de 200 páginas) do que atenção plena. O Mamba-3 melhora, mas não elimina o gap. Segundo, o ecossistema de tooling — quantização, servidores como vLLM/SGLang, LoRA, deployments em Blackwell — ainda gira majoritariamente em torno de Transformers. Portar para Mamba-3 dá trabalho.

Terceiro, ganho de eficiência não é sinônimo de segurança: modelos menores e mais baratos também são mais fáceis de rodar off-grid, o que reduz visibilidade regulatória. Por último, o paper foca em pré-treinamento; falta consolidação em técnicas de pós-treinamento (RLHF/DPO em SSMs) e em usos agênticos, que exigem mais do que boa perplexidade.

Cenário

A leitura mais provável para 2026–2027 é a de híbridos: camadas Mamba-3 misturadas com atenção esparsa, KV-cache compressivo e roteamento MoE. Nvidia, Cerebras e AMD já mostraram interesse comercial em rodar SSMs porque simplificam o problema de memória. Nas frentes acadêmicas, esperem uma corrida por versões "instruct" abertas de Mamba-3, benchmarks de longo contexto customizados e experimentos em vídeo/áudio, onde a linearidade da SSM brilha.

Conclusão prática

Para times de infraestrutura de IA, o Mamba-3 é bandeira que vale acompanhar: se os números do paper aguentarem replicação, o custo por token cai e a matemática de "quantos usuários por GPU" muda. Para pesquisadores brasileiros, é oportunidade concreta de pegar carona no repositório oficial assim que ele for liberado e adaptar para tarefas de português. E para gestores de produto: se o roadmap depende de longo contexto barato, coloque um POC de Mamba-3 no próximo trimestre. Vale mais isso do que esperar o próximo GPT.

Fonte original: Lahoti, Li, Chen, Wang, Bick, Kolter, Dao & Gu — Mamba-3: Improved Sequence Modeling using State Space Principles (ICLR 2026, arXiv 2603.15569).

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Google mede contextualidade quântica em até 105 qubits no Willow

Publicado na Science, o experimento ganha o jogo do quadrado mágico em 98,30% das rodadas,…

10 horas ago

BlockJack desvia o cache KV do vLLM entre inquilinos diferentes

Preprint de seis universidades mostra que corromper um único registro da tabela de blocos faz…

10 horas ago

SCKit abusa do ScreenConnect para atacar sessões de técnicos

A Microsoft confirmou a campanha relatada pela ConnectWise e detalhou um kit que inverte o…

10 horas ago

F5 libera hotfixes de emergência para cinco falhas críticas no BIG-IP

Os avisos publicados em 18 de novembro atribuem CVSS 4.0 de 9,3 a cinco estouros…

10 horas ago

Ataque recupera texto exato no aprendizado federado

Preprint do BITS Pilani Goa mostra um cliente comum reconstruindo frases exatas de outros participantes…

1 dia ago

Agile Deliberation: Google treina IA em conceitos subjetivos

Framework do Google Research trata a construção de classificadores subjetivos como conversa iterativa: delimita subconceitos…

1 dia ago