Ranking de LLMs muda conforme o limite de tokens

Um estudo publicado no arXiv em 12 de agosto de 2026 por dois pesquisadores da Universidade Federal de Santa Catarina desmonta uma suposição que sustenta praticamente todo placar de modelos de linguagem em circulação: a de que a classificação entre modelos é estável independentemente das condições de inferência.

Rodrigo Guedes de Souza e Alison R. Panisson executaram 56.476 inferências — quatro modelos, três benchmarks de raciocínio e sete níveis de orçamento de tokens, de 64 a 4.096 — e encontraram algo desconfortável: a ordem de classificação entre os modelos se inverte em todos os três benchmarks conforme o limite de tokens muda, com significância estatística.

Em outras palavras, a pergunta “qual modelo é melhor?” não tem uma resposta única. Ela depende de quantos tokens o modelo teve permissão para produzir — um parâmetro que raramente aparece nas tabelas comparativas divulgadas por fornecedores.

O que é o orçamento de tokens e por que ele foi ignorado

O orçamento de geração é o número máximo de tokens que o modelo pode produzir antes de ser truncado ou encerrado — o parâmetro max_tokens presente em praticamente toda API de modelo de linguagem. Ele existe por razões práticas: custo, latência e limites de infraestrutura.

A literatura recente sobre escalonamento de computação em tempo de inferência já havia mostrado que dar mais tokens para o modelo “pensar” pode melhorar substancialmente o desempenho, mas com efeito variável entre modelos e tarefas. Em paralelo, uma linha de trabalhos sobre overthinking documentou casos em que tokens adicionais de raciocínio pioram a acurácia.

O que os pesquisadores da UFSC fizeram foi cruzar essas duas observações de forma sistemática, avaliando múltiplos modelos simultaneamente sob os mesmos orçamentos. O resultado é que as curvas de escalonamento se cruzam — e quando elas se cruzam, o modelo no topo do placar muda.

O desenho do experimento

Os autores avaliaram quatro modelos de pesos abertos cobrindo uma ordem de magnitude em contagem de parâmetros: LLaMA-3 8B, Qwen-3 32B, LLaMA-3.3 70B e GPT-OSS 20B. Todos foram executados com decodificação gulosa (temperatura 0) para garantir saídas determinísticas e reprodutibilidade exata.

Os três benchmarks escolhidos formam um gradiente de dificuldade:

• GSM8K — 1.319 problemas de matemática de nível escolar (facilidade média medida: 0,507).
• MATH-500 — 500 problemas de matemática de nível de competição (facilidade média: 0,253).
• GPQA-Diamond — 198 questões de ciências de nível de pós-graduação (facilidade média: 0,172).

Cada par modelo-item foi avaliado em sete orçamentos: 64, 128, 256, 512, 1.024, 2.048 e 4.096 tokens. Isso produz 84 configurações e as 56.476 inferências individuais.

O cuidado com o truncamento

Havia um problema metodológico óbvio a resolver. Quando um modelo é cortado no meio da geração, ele não produz resposta final e é contado como errado — o que criaria artificialmente a impressão de que mais orçamento sempre ajuda. E as taxas de truncamento variam enormemente: o Qwen-3 32B, que usa tokens internos de raciocínio, permanecia truncado em 59,7% dos itens do GPQA mesmo com 4.096 tokens, enquanto o LLaMA-3.3 70B caía para 0,5% no mesmo orçamento.

Os autores endereçaram isso com uma análise em três camadas, reportada ao longo de todo o artigo: (a) todos os itens, com pontuação padrão; (b) apenas itens em que aquele modelo específico completou a geração; e (c) itens em que todos os quatro modelos completaram, permitindo comparações pareadas sobre conjuntos idênticos. Eles registram explicitamente que a segunda camada tem viés para cima — itens completados tendem a ser mais fáceis para aquele modelo — e marcam como não confiáveis os resultados com amostra menor que 30.

Achado 1: o overthinking é real e é específico de cada modelo

Os pesquisadores classificaram cada trajetória de correção em quatro categorias: sempre-correto, monótono-crescente, não-monótono (o modelo acerta com menos tokens e erra com mais) e sempre-errado.

A categoria monótona-crescente domina, confirmando que mais orçamento geralmente ajuda. Mas os itens não-monótonos vão de 3,6% a 25,8% dos casos, dependendo da combinação modelo-benchmark. Depois de excluir os orçamentos truncados, as taxas caem mas permanecem substanciais — o LLaMA-3 8B no GPQA vai de 25,8% para 19,1%, e o LLaMA-3.3 70B no MATH-500 praticamente não muda (10,6% para 10,3%).

Para eliminar qualquer dúvida, os autores fizeram uma busca direta por itens em que um modelo acerta com orçamento baixo e erra com orçamento alto, com a geração completa nos dois casos. Encontraram 1.193 pares desse tipo. O LLaMA-3 8B concentra a maior parte (550 só no GSM8K).

O achado mais consequente dessa seção, porém, é outro: o overthinking é específico do modelo, não inerente ao item. A sobreposição entre modelos — a fração de itens não-monótonos sinalizados por pelo menos dois dos quatro modelos — é de apenas 10,1% no GSM8K, 6,4% no MATH-500 e 13,8% no GPQA. Entre 86% e 94% dos itens que provocam overthinking genuíno o fazem para um único modelo.

A implicação prática é direta: não adianta “limpar” os benchmarks removendo itens problemáticos, porque o conjunto de itens problemáticos muda de modelo para modelo.

Achado 2: as inversões no ranking de LLMs

Este é o resultado central. A tabela abaixo resume as trocas de liderança observadas, com o teste de McNemar comparando o primeiro colocado ao segundo:

O caso do GPQA é o mais chamativo: o menor modelo do conjunto, com 8 bilhões de parâmetros, lidera nos orçamentos de 256 e 512 tokens, é ultrapassado pelo modelo de 70 bilhões em 1.024 e, em 4.096, a diferença entre o primeiro e o segundo deixa de ser estatisticamente significativa. Os autores alertam para o tamanho amostral pequeno do GPQA-Diamond (198 itens) e pedem cautela na leitura desses números específicos.

Um achado secundário mostra a importância do controle de truncamento: no MATH-500 com 4.096 tokens, o GPT-OSS 20B lidera considerando todos os itens (71,0%), mas o Qwen-3 32B lidera quando se restringe a itens não truncados por nenhum modelo (86,7%). A diferença não é de raciocínio, é de taxa de conclusão. Os autores tratam isso como reforço da tese, e não como enfraquecimento: existem dois critérios legítimos de avaliação — “capacidade de responder com tokens suficientes” e “capacidade de responder dentro do orçamento” —, e eles produzem rankings diferentes.

Achado 3: os modelos são mais complementares do que parecem

Se modelos diferentes acertam itens diferentes, um seletor perfeito que escolhesse o melhor modelo para cada questão superaria qualquer modelo isolado. Os autores medem essa diferença como oracle gap.

• GSM8K: a diferença é não-monótona, com pico de +16,9 pontos percentuais por volta de 256 tokens, caindo para +3,5 pp em 4.096, à medida que os modelos convergem sobre os mesmos itens mais fáceis.
• MATH-500: cresce de forma monótona até +12,8 pp em 4.096 tokens.
• GPQA: a maior de todas, +27,8 pp em 4.096 tokens, indicando que os quatro modelos resolvem subconjuntos altamente não sobrepostos das questões.

A similaridade de Jaccard entre os conjuntos de respostas corretas dos modelos começa praticamente em zero (0,048 com 64 tokens) e sobe para 0,741 em 4.096 — mas nunca chega a 1. Os modelos convergem sem chegar a consenso: mesmo com orçamento generoso, continuam resolvendo conjuntos de itens significativamente diferentes.

Há também um “núcleo duro” de itens além da capacidade atual: 1,1% do GSM8K, 13,6% do MATH-500 e 10,1% do GPQA são respondidos incorretamente por todos os quatro modelos em todos os sete orçamentos.

Achado 4: um roteador que usa o orçamento como sinal

A parte aplicada do trabalho testa se é possível capturar parte dessa complementaridade na prática. Os autores treinaram um classificador XGBoost por modelo, prevendo a probabilidade de acerto a partir do logaritmo do orçamento, de estatísticas superficiais do texto (contagem de caracteres e palavras, presença de LaTeX, entropia, maior magnitude numérica) e de 20 dimensões reduzidas por PCA de embeddings de sentença.

Em avaliação entre domínios — treinando em GSM8K e MATH-500 e testando em GPQA —, o roteador alcançou 22,9% de acurácia contra 20,3% da melhor linha de base por orçamento, um ganho de +2,67 pp (intervalo de confiança de 95% entre 0,94 e 4,40, portanto significativo). Isso captura 14,1% do oracle gap. No subconjunto de itens em que os modelos discordam, o ganho sobe para +7,12 pp.

A análise SHAP mostra que a variável de orçamento domina todas as outras por larga margem: seu valor médio absoluto (2,21) é 6,1 vezes maior que o do segundo colocado (presença de LaTeX, 0,36).

O achado incômodo: o orçamento não transfere entre domínios

A ablação revela um resultado contraintuitivo. Remover as variáveis de orçamento melhora a acurácia entre domínios (24,2% contra 22,9% do roteador completo). Mas quando os autores rodam validação cruzada dentro de cada benchmark separadamente, o orçamento ajuda de forma consistente: +5,7 pp no GSM8K, +3,0 pp no MATH-500 e +1,6 pp no GPQA.

A leitura é que o mapeamento entre orçamento e acurácia é específico do domínio: a relação aprendida em problemas de matemática não se transfere para ciências de nível de pós-graduação. Dentro de um domínio, o orçamento é o sinal dominante; entre domínios, ele superajusta e prejudica.

O que isso significa na prática

Para quem escolhe modelos, o recado é que placares agregados são um guia incompleto — e potencialmente enganoso — se a condição de implantação for diferente da condição de avaliação. Cenários com restrição real de orçamento (aplicações móveis, borda, sistemas de tempo real, serviços com custo por token sob controle apertado) são exatamente onde as inversões observadas acontecem.

Para quem publica avaliações, a recomendação dos autores é adotar protocolos de avaliação condicionados ao orçamento: reportar acurácia em múltiplos níveis e declarar explicitamente o orçamento usado. É uma exigência barata e que muda pouco o esforço de avaliação, mas que tornaria comparáveis resultados que hoje não são.

Para quem constrói sistemas de roteamento entre modelos, o trabalho sugere tratar o orçamento como sinal poderoso mas não transferível, combinando-o com características agnósticas a domínio ou com técnicas de adaptação de domínio.

Limitações declaradas

Os próprios autores listam seis limitações, e vale reproduzi-las porque delimitam o alcance das conclusões:

1. Apenas quatro modelos foram avaliados; um conjunto maior fortaleceria a generalidade.
2. Os orçamentos são espaçados logaritmicamente; granularidade fina poderia revelar estrutura adicional.
3. As características de roteamento se limitam a propriedades superficiais de texto e embeddings estáticos.
4. O foco recai sobre benchmarks de raciocínio com resposta correta bem definida; a generalização para tarefas abertas não foi testada.
5. A lacuna de 19 pp entre o roteador e o oráculo no GPQA indica que a maior parte da complementaridade continua inexplorada.
6. Modelos dedicados de raciocínio foram deliberadamente excluídos, porque sua arquitetura de fluxo duplo, que aloca tokens entre deliberação interna e saída visível, muda a semântica do parâmetro max_tokens e torna a comparação de orçamentos não equivalente.

Essa última exclusão é a mais relevante para a leitura do resultado. Boa parte dos modelos comerciais em uso hoje opera justamente com raciocínio interno separado da saída visível — inclusive o Qwen3.8 recém-liberado com pesos abertos, cujo modo de raciocínio não pode sequer ser desativado. Estender o arcabouço a essa classe de modelos é, como os autores reconhecem, uma direção importante de trabalho futuro.

Conclusão

O trabalho de Souza e Panisson não afirma que os benchmarks são inúteis. Afirma algo mais específico e mais acionável: um benchmark não produz uma ordem estável, e sim uma família de ordens parametrizada pelo orçamento de tokens. Enquanto essa variável não for reportada, comparações entre modelos publicadas por fornecedores diferentes não são estritamente comparáveis.

É um lembrete oportuno num momento em que tabelas de benchmark com dezenas de linhas viraram peça padrão de lançamento de modelo. E é, também, uma contribuição brasileira relevante a um debate metodológico que costuma ser conduzido quase inteiramente em laboratórios corporativos.

O que observar a seguir: se placares públicos e arenas de comparação passarão a expor o orçamento usado em cada avaliação, e se a extensão do método aos modelos de raciocínio dedicado — hoje a fatia mais usada comercialmente — confirmará ou atenuará as inversões observadas.

Fontes e referências

• arXiv — Rodrigo Guedes de Souza e Alison R. Panisson (UFSC), Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation, arXiv:2608.12150, DOI 10.48550/arXiv.2608.12150: arxiv.org/abs/2608.12150
• Versão HTML integral do artigo: arxiv.org/html/2608.12150v1
• Snell et al. — Scaling LLM Test-Time Compute Optimally Can be More Effective than Scaling Model Parameters, arXiv:2408.03314: arxiv.org
• Chen et al. — Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs, arXiv:2412.21187: arxiv.org
• Rein et al. — GPQA: A Graduate-Level Google-Proof Q&A Benchmark (ICLR 2024): arxiv.org