Subquadratic SubQ: sparse attention entrega 12M tokens de contexto e corte de custo de US$ 2.600 para US$ 8 no RULER 128

Resumo: A startup americana Subquadratic saiu do stealth em maio prometendo derrubar o gargalo matemático que segura os LLMs desde o paper “Attention Is All You Need” de 2017. Em 19 de junho, a companhia publicou o benchmark independente da Appen do seu modelo SubQ 1.1 Small: 89,7% no LiveCodeBench (mesmo patamar dos melhores modelos de coding), 56x mais rápido que arquiteturas com FlashAttention, 98% de acerto em Needle-in-a-Haystack até 12 milhões de tokens de contexto, e uma diferença de custo brutal — US$ 8 contra US$ 2.600 do Opus 4.6 no teste RULER 128. O truque é sparse attention com seleção dinâmica de tokens; a arquitetura é uma tentativa concreta de romper o crescimento quadrático de cálculos que faz LLMs consumirem tanta energia quanto uma cidade média. A comunidade continua cética, mas os números começam a fechar.

O gargalo que a arquitetura de transformer criou

A cada token que um transformer processa, ele multiplica seu vetor pelo de todos os outros tokens da janela — o mecanismo de dense attention. É o coração do modelo, mas o custo escala em O(n²): dobre a janela de contexto, quadruplique a conta. Um prompt de 10 mil palavras já dispara quase 50 milhões de multiplicações. Um documento inteiro? Dias em GPU. É por isso que os LLMs de fronteira precisam de datacenters do tamanho de subúrbios e por isso janelas de contexto acima de 1 milhão de tokens custam caro mesmo no Gemini 3.5 ou no Claude Opus 4.8.

Desde 2018 a academia tenta versões de sparse attention — Longformer, BigBird, Reformer, FlashAttention e derivados. Todas capturam menos meaning que o modelo denso; nenhuma passou a “linha dos 4 minutos”, como diz Will Depue, ex-OpenAI: teoricamente possível, mas ninguém tinha conseguido rodá-la de forma limpa em produção. A Subquadratic afirma que sim.

O que a Subquadratic diz ter feito

A companhia foi fundada em Miami por Alex Whedon (CTO) e Justin Dangel (CEO). O SubQ é um modelo de linguagem “sparse-first” com seleção dinâmica de quais pares de tokens multiplicar — em vez de padrões fixos, o próprio modelo decide, on the fly, o que é relevante em cada trecho de texto. A companhia se recusa a detalhar o mecanismo: é o “molho secreto”. Uma pista pública é que reutilizaram pesos de uma versão do open-source chinês Qwen para bootstrap, algo que os críticos vão bater — inclusive porque desmonta parcialmente a narrativa de “reinvenção total”.

O que a Appen — casa de avaliação independente contratada — mediu:

• Speed test puro: 56× mais rápido que FlashAttention em teto teórico.
• LiveCodeBench: 89,7% de acerto em problemas de programação competitiva. Está na mesma faixa de Claude Opus 4.6, GPT-5.6 e Gemini 3.5 Pro.
• RULER 128: retrieval em datasets longos. Anthropic Opus 4.6 gasta US$ 2.600 no teste; SubQ gastou US$ 8, segundo Dangel.
• Needle-in-a-Haystack: 98% de recuperação com janelas de 6 e 12 milhões de tokens — três a doze vezes mais que os frontier de hoje.

Em uma demonstração ao MIT Technology Review, Whedon pediu ao SubQ para raciocinar sobre 400 documentos e obteve resposta em segundos. A mesma tarefa fez o Perplexity travar antes de carregar tudo.

Por que importa

Se os números resistirem à validação em produção, três coisas mudam de imediato. Primeiro, economia de RAG: com 12M de tokens úteis, buscas vetoriais viram opcionais para bases médias — carrega tudo e pergunta. Segundo, custo de coding em escala: agentes que hoje precisam quebrar tarefa por limitação de contexto conseguem ver o repositório inteiro. Terceiro, impacto energético: se o ganho de custo se traduzir em watts, a “curva de energia da IA” — assunto de guerra em Louisiana com o data center de US$ 50 bi da Meta — pode se estabilizar antes do previsto.

O ceticismo — legítimo — da comunidade

Dan McAteer resumiu a reação em X: “SubQ é ou o maior breakthrough desde o Transformer, ou é o Theranos da IA”. Três pontos concretos alimentam a dúvida:

• O modelo não está amplamente disponível. Tens of thousands de pessoas assinaram waitlist, apenas alguns testers rodam em ambiente controlado.
• Reuso de pesos do Qwen sugere que parte do desempenho vem do modelo-mãe, não da arquitetura nova. A prova real seria treinar do zero.
• Benchmarks sintéticos como Needle-in-a-Haystack medem retrieval, não raciocínio profundo em texto longo. Casos reais de multi-doc reasoning ainda estão para ser testados publicamente.

Depue, o ex-OpenAI, coloca de forma direta: “Podem ter construído algo real e útil. Mas a evidência pública ainda não justifica a afirmação mais forte de que resolveram o bottleneck da attention quadrática.”

SWOT: SubQ como arquitetura

Riscos e limitações

Benchmarks nunca contam tudo. Needle-in-a-Haystack e RULER medem recuperação — encontrar uma frase específica no meio de 12M tokens. Coisas como reasoning multi-passo em textos longos, coerência narrativa e cadeia lógica em documentos jurídicos ou clínicos são outra história. O próprio Dangel afirma que o SubQ não substituirá os frontier em todas as frentes — é pitched como “modelo tailored para coding e busca em bases grandes”. Vale registrar: a companhia rodou os benchmarks pagando a Appen, o que não invalida os números mas exige o cuidado padrão com conflitos de interesse.

Cenário

Nos próximos 90 dias, três marcadores decidem se SubQ é breakthrough real: (1) disponibilidade pública para desenvolvedores testarem em suas próprias cargas; (2) publicação de paper técnico com detalhes suficientes para replicação; (3) primeiro deploy em produção com métricas independentes de latência, custo por request e qualidade. Se as três coisas acontecerem, prepara-se para uma onda de arquiteturas sparse-first entre 2027 e 2028. Se não, SubQ vira asterisco na história da IA.

Conclusão prática

Para times de engenharia no Brasil, vale entrar na waitlist agora — mesmo que o modelo demore meses para chegar, a experiência de negociar POC com uma arquitetura alternativa muda o poder de barganha na renovação de contrato com OpenAI ou Anthropic. Para pesquisadores em universidades: replicar seleção dinâmica de tokens em modelos abertos (Llama, Qwen) é um bom projeto de mestrado ou doutorado — mesmo sem chegar aos números do SubQ, o exercício revela onde as escolhas de arquitetura importam. E para conselhos de administração: se cortar custo de inference com IA está na estratégia de 2027, colocar Subquadratic na lista de fornecedores potenciais, mesmo que hoje seja aposta especulativa, é higiene de portfólio.

Fonte: MIT Technology Review — A startup claims it broke through a bottleneck that’s holding back LLMs.