CompactionRL treina agentes de IA a resumir o próprio contexto

Um artigo publicado no arXiv em 6 de julho de 2026 (identificador 2607.05378) propõe uma mudança conceitual pequena, mas com consequência prática relevante para agentes de inteligência artificial: tratar a compactação de contexto como uma ação treinável do modelo, e não como uma heurística aplicada em tempo de inferência.

O trabalho, assinado por Yujiang Li, Zhenyu Hou, Yi Jing, Jie Tang e Yuxiao Dong, da Universidade Tsinghua, apresenta o CompactionRL — um framework de aprendizado por reforço baseado em PPO (Proximal Policy Optimization) para treinar agentes de longo horizonte com compactação de contexto embutida no processo. Os três primeiros autores realizaram o trabalho durante estágio na Z.AI, empresa associada à família de modelos GLM.

O problema atacado é conhecido por qualquer pessoa que tenha operado um agente de codificação autônomo: em tarefas longas, o histórico acumulado — saídas de ferramentas, raciocínio intermediário, mensagens de erro, soluções parciais — estoura a janela de contexto antes que a tarefa termine.

Contexto: por que aumentar a janela não resolve

A resposta intuitiva ao estouro de contexto é usar modelos com janelas maiores. Os autores argumentam, apoiados em literatura estabelecida, que essa saída é insuficiente por duas razões: escalar o comprimento de contexto é caro e não elimina a degradação de utilização em sequências longas — fenômeno documentado em trabalhos como Lost in the Middle e o benchmark RULER, que mede a capacidade real de aproveitamento de contexto longo.

A compactação oferece um caminho alternativo. Quando o histórico se aproxima do limite, a interação anterior é resumida em um estado mais curto, e o agente retoma a partir desse resumo somado a uma pequena porção do contexto recente.

Ideias semelhantes já aparecem em sistemas de memória de agentes, reflexão e interação de longo horizonte — os autores citam Reflexion, agentes generativos e o trabalho sobre context folding. A diferença que o artigo aponta é de papel: em uso de inferência, a compactação é uma otimização externa; em treinamento por reforço, ela é fundamental, porque, uma vez que o resumo substitui o histórico original, ele determina que informação estará disponível para todas as ações subsequentes.

Em outras palavras: o sucesso da tarefa passa a depender não apenas da política de execução, mas também da política de compactação. E se essa segunda política nunca é treinada, ela vira um gargalo silencioso.

O problema técnico que o artigo identifica

Os pipelines de aprendizado por reforço existentes não foram desenhados para esse cenário. Métodos recentes como o GRPO otimizam grupos de rollouts completos com vantagens normalizadas por grupo, e os métodos padrão de longo horizonte assumem que cada trajetória pode ser processada sem alterar sua representação de contexto.

A compactação quebra as duas premissas:

• Um único rollout pode ser dividido em um número variável de segmentos, dependendo de quando a compactação é acionada. Isso torna a normalização por grupo de tamanho fixo inadequada.
• Treinar segmentos compactados como amostras independentes distorce tanto a ponderação da função de perda quanto a atribuição temporal de crédito, já que segmentos da mesma trajetória compartilham uma recompensa de nível de tarefa, mas diferem em comprimento e em distância temporal até o resultado final.

Como o CompactionRL funciona

A compactação é integrada à coleta de rollouts. O histórico é representado como a sequência do prompt de sistema, da instrução original do usuário e de pares atômicos formados por resposta do assistente e observação do ambiente. Tratar cada par como unidade atômica garante que uma chamada de ferramenta e seu retorno nunca sejam separados pela compactação — detalhe de implementação que evita resumos incoerentes.

A compactação é acionada quando o orçamento de contexto restante cai abaixo de um limiar. Nesse momento, uma instrução fixa de sumarização é anexada ao histórico e o resumo é amostrado da própria política. A instrução pede ao modelo que preserve a informação necessária para continuar a tarefa: o objetivo original, as ações concluídas, observações importantes, erros não resolvidos, o estado atual e os próximos passos plausíveis.

O rollout então continua a partir de um contexto reconstruído com três partes: o prompt de sistema, um template fixo contendo o resumo gerado e os k passos mais recentes — com k = 2 como padrão, reduzido quando necessário para caber no orçamento. Essa reconstrução preserva informação de longo alcance por meio do resumo e mantém o estado mais recente do ambiente de forma exata.

Do lado da otimização, o artigo apresenta três decisões:

Migração de otimização por grupo para PPO. Como a compactação produz um número variável de segmentos, a formulação PPO aprende a partir de segmentos individuais de compactação, apoiando-se em um crítico para estimar vantagens em nível de token, em vez de depender de linhas de base relativas ao grupo.

Normalização da perda em nível de token. Reduz o viés de ponderação induzido pelo comprimento dos segmentos.

GAE cruzada entre trajetórias. Preserva a atribuição temporal de crédito através das fronteiras de compactação, corrigindo a vantagem local com o número de tokens otimizados nos segmentos subsequentes.

O ponto central é que a geração da trajetória e a geração do resumo são otimizadas conjuntamente sob a mesma recompensa final de tarefa. A sumarização deixa de ser um artefato de engenharia e passa a ser parte aprendida do modelo.

Resultados

Os experimentos foram feitos sobre modelos abertos da família GLM, avaliados em duas tarefas de codificação agêntica de longo horizonte.

Os ganhos são medidos contra o modelo base usando compactação em tempo de inferência — ou seja, a comparação isola o efeito de treinar a compactação, e não o efeito de usá-la. Essa é uma escolha metodológica honesta e importante para interpretar os números.

O SWE-bench Verified avalia a capacidade de resolver problemas reais de repositórios GitHub; o Terminal-Bench 2.0 mede resolução de tarefas em ambiente de terminal. Ambos exigem sequências longas de raciocínio, ação e revisão de plano — exatamente o regime em que a compactação importa.

O artigo registra ainda que o CompactionRL foi incorporado ao pipeline de aprendizado por reforço usado no treinamento do modelo aberto GLM-5.2 (750B-A40B). Esse é um sinal relevante: indica que a técnica saiu do estágio de experimento acadêmico e entrou em produção em um modelo de fronteira aberto.

Impactos, possibilidades e limitações

A implicação prática mais direta é econômica. Se o horizonte efetivo de treinamento pode ser estendido sem aumentar o comprimento máximo de contexto de trabalho, o custo de treinar agentes para tarefas longas deixa de crescer junto com a duração da tarefa. Para equipes que operam com orçamento limitado de computação, isso muda o cálculo de viabilidade.

Há também uma implicação sobre qualidade que o artigo torna explícita: quando o resumo é gerado por uma heurística fixa, qualquer informação perdida é perdida sem que o sistema tenha aprendido o que valia preservar. Treinar a sumarização sob a recompensa final força o modelo a descobrir, empiricamente, quais elementos do histórico importam para o sucesso.

As limitações merecem registro. A avaliação se concentra em codificação agêntica — SWE-bench Verified e Terminal-Bench 2.0. Não há, no artigo, evidência de que os ganhos se transfiram para outros domínios de longo horizonte, como navegação web, pesquisa ou automação de fluxos empresariais. Todos os modelos testados são da família GLM; a generalização para outras arquiteturas não foi demonstrada. A formulação PPO exige treinar e manter um crítico, o que adiciona custo computacional em relação a métodos sem crítico como o GRPO — um trade-off que o artigo assume, mas que precisa ser considerado por quem for reproduzir.

Vale ainda uma ressalva de contexto: trata-se de um preprint no arXiv, ainda não revisado por pares no momento desta publicação. Os números vêm dos autores, que têm vínculo com a organização responsável pelos modelos avaliados.

Recomendações

• Equipes que operam agentes de codificação em produção podem, antes de adotar treinamento, instrumentar o que os resumos automáticos estão descartando. Perda silenciosa de contexto costuma se manifestar como o agente repetindo trabalho já feito ou reintroduzindo erros já corrigidos.
• Ao comparar desempenho de agentes, verifique se a avaliação foi feita sob compactação. Um modelo que parece melhor em tarefas curtas pode degradar mais em horizontes longos.
• Para quem acompanha modelos abertos, vale observar o GLM-5.2, já que a técnica foi incorporada ao seu pipeline de treinamento.
• O código e os detalhes completos estão no preprint; a reprodução exige infraestrutura de aprendizado por reforço com crítico, o que não é trivial fora de laboratórios com escala.

Conclusão

O CompactionRL parte de uma observação simples — se o agente vai resumir o próprio histórico, ele deveria aprender a fazer isso bem — e a transforma em uma formulação de treinamento coerente, resolvendo os problemas técnicos que a compactação cria para os métodos de aprendizado por reforço existentes.

Os ganhos reportados são consistentes, mas modestos em termos absolutos, e restritos a um domínio. O sinal mais forte não está nos pontos percentuais e sim na adoção: a técnica foi para o pipeline de um modelo aberto de 750 bilhões de parâmetros. O que vale acompanhar é se a compactação treinável se torna prática padrão em modelos agênticos e se aparecem avaliações independentes fora da família GLM e fora de tarefas de código.

Fontes e referências

• Li, Y.; Hou, Z.; Jing, Y.; Tang, J.; Dong, Y. (Universidade Tsinghua) — CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents, arXiv:2607.05378v1 [cs.LG], 6 de julho de 2026: arxiv.org/abs/2607.05378
• Versão HTML completa do artigo: arxiv.org/html/2607.05378v1
• Jimenez, C. et al. — SWE-bench: Can Language Models Resolve Real-World GitHub Issues?: arxiv.org/abs/2310.06770
• Liu, N. F. et al. — Lost in the Middle: How Language Models Use Long Contexts: arxiv.org/abs/2307.03172
• Hsieh, C.-P. et al. — RULER: What’s the Real Context Size of Your Long-Context Language Models?: arxiv.org/abs/2404.06654
• Shinn, N. et al. — Reflexion: Language Agents with Verbal Reinforcement Learning: arxiv.org/abs/2303.11366