Argus: runtime de agentes de IA atinge 78% no SWE-Bench Pro

Um grupo de pesquisadores da Microsoft e de nove universidades — entre elas Shanghai Jiao Tong, Tsinghua, Fudan, Universidade de Pequim e Universidade de Hong Kong — publicou em 5 de agosto de 2026 no arXiv o relatório técnico do Argus, um runtime agêntico projetado para tarefas de longo horizonte. O trabalho está registrado sob o identificador arXiv:2608.05144, com licença CC BY 4.0.

A proposta central é simples de enunciar e difícil de executar: um sistema de agentes precisa persistir enquanto as evidências sustentam a abordagem atual e mudar de rumo quando as medições revelam uma rota falha, uma restrição escondida ou um objetivo mal especificado. A dificuldade está no equilíbrio — persistir demais desperdiça recursos, pivotar demais impede qualquer progresso acumulado.

O ponto que diferencia o Argus de boa parte do que vem sendo publicado sobre agentes é que os pesos do modelo permanecem congelados. Não há treinamento adicional. O que evolui é o estado persistente do runtime e a política de controle — memórias, habilidades, procedimentos, verificadores, decisões de roteamento e rotas descartadas, todos admitidos apenas depois de revisão atribuída a um papel específico e, quando disponível, de verificação nativa da tarefa.

Como o runtime de agentes Argus se organiza

A arquitetura distribui o trabalho entre quatro papéis que executam missões delimitadas sobre um estado de projeto durável: Manager, Planner, Engineer e Reviewer. O Manager detém autoridade sobre tarefas, verticais de pesquisa e transições de estágio; os demais operam sobre um espaço de trabalho compartilhado cujo conhecimento, registro de eventos, artefatos, fila de pendências, orçamento e memória sobrevivem ao fim de cada missão.

Uma decisão de projeto merece destaque: o Argus separa a intenção estável do usuário dos objetivos operacionais, das restrições e dos critérios de verificação. Isso permite que o sistema reformule a estratégia sem reescrever o que o usuário efetivamente pediu — uma das causas conhecidas de desvio de objetivo em agentes que operam por muitas horas.

A execução é autônoma entre pontos de escalonamento controlados pelo operador. Ou seja, não se trata de um sistema totalmente sem supervisão: há momentos definidos em que o agente para e devolve a decisão a um humano.

Resultados relatados

Os autores avaliaram o sistema em sete arenas de benchmark usando o GPT-5.5 como modelo base. Os números principais divulgados no relatório:

  • SWE-Bench Pro: cerca de 78%, contra 59% para o que os autores chamam de Direct Copilot, usando 1,41 vez o total agregado de tokens.
  • AARRI-Bench: 76,8%.
  • Síntese de dados matemáticos: vantagem de 28,0 pontos.
  • Autoevolução com verificação: após o amadurecimento, as ondas de SWE-Bench passaram a usar 21% menos tokens de entrada por solução e 15% menos tempo ativo de fluxo por tarefa em relação às ondas iniciais, com registro de 34 recuperações por verificador e 22 resgates por ciclo estrito de revisão.

O relatório também cita resultados fora de benchmark: um kernel RWKV6 otimizado foi incorporado ao projeto de origem; uma campanha de matemática de vários dias manteve registro das rotas falsificadas e das atualizações de fronteira sustentadas por prova; e seis pipelines de artigos completaram 254 missões com 16 reversões de estágio.

Para dimensionar o número do SWE-Bench Pro: levantamentos públicos de agosto de 2026 colocam os modelos de fronteira na faixa de 69% a 80% nesse benchmark, que reúne 1.865 tarefas em 41 repositórios ativos em Python, Go, TypeScript e JavaScript, incluindo bases proprietárias. O resultado do Argus, portanto, é competitivo — mas obtido com um arcabouço de orquestração sobre um modelo, não por um modelo isolado.

O que isso significa na prática

A leitura mais útil do trabalho não é o placar. É a demonstração de que ganhos substanciais podem vir da engenharia em torno do modelo, e não apenas de modelos maiores. O Argus registra rotas rejeitadas, exige revisão por papel antes de admitir qualquer aprendizado ao estado persistente e produz trajetórias estruturadas que podem alimentar treinamento supervisionado ou por reforço no futuro.

Para quem opera infraestrutura, há implicações concretas. Um runtime que mantém estado durável entre missões precisa de controle de acesso sobre esse estado: memórias, credenciais de ferramenta e artefatos acumulados tornam-se ativos sensíveis. A separação entre intenção do usuário e objetivo operacional também é um mecanismo de auditoria — permite verificar, depois do fato, se o agente derivou do que foi pedido.

O custo é relevante e os autores não o escondem: o ganho de qualidade veio acompanhado de 1,41 vez o consumo agregado de tokens em relação à execução direta. A economia de 21% aparece apenas depois que o sistema amadurece, dentro do mesmo domínio de tarefa.

Limitações declaradas

O próprio artigo lista restrições que convém levar a sério. Os pivôs guiados por usuário não foram avaliados publicamente de forma prospectiva: os autores relatam casos internos em que interromper ou expor uma contradição ajudou pesquisadores reais, mas esses casos contêm detalhes de projetos que não podem ser divulgados e, portanto, não constituem estudo público sobre qualidade de esclarecimento ou calibração do pesquisador.

Além disso, os autores reconhecem que o refinamento de contrato ainda pode falhar. Evidência e autoridade explícita reduzem o desvio de objetivo, mas não o eliminam: um Manager ou operador pode aprovar um tradeoff mal formulado, e uma intenção registrada pode omitir um requisito tácito.

Vale acrescentar o alerta metodológico habitual. Trata-se de uma pré-publicação no arXiv, sem revisão por pares até o momento. Parte das avaliações usa benchmarks internos, e o relatório apresenta os resultados como evidência de amplitude, não como um placar normalizado único — ressalva que os próprios autores fazem explicitamente ao descrever seus gráficos.

Conclusão

O Argus se soma a uma linha de pesquisa que vem ganhando corpo em 2026: melhorar agentes ajustando o arcabouço em vez dos pesos. A combinação de estado persistente, revisão por papel e verificação nativa da tarefa é uma resposta razoável a dois problemas conhecidos — o esquecimento entre sessões e a admissão de conclusões não verificadas ao contexto.

O que observar a seguir: se os resultados serão reproduzidos por terceiros em SWE-Bench Pro com o mesmo modelo base, se o código do runtime será liberado e se a economia de tokens após a maturação se sustenta quando o domínio da tarefa muda. Sem isso, o número de 78% permanece uma medição de um único laboratório.

Fontes e referências

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Estudo de Stanford liga companheiros de IA a menor bem-estar

Pesquisa com 1.131 usuários do Character.AI e 464 mil mensagens doadas encontrou associação entre uso…

2 horas ago

Qwen3.8-Max: Alibaba promete abrir pesos de modelo de 2,4 tri

Modelo de mistura de especialistas ativa 95 bilhões de parâmetros por token e traz rastros…

2 horas ago

khunt: invasores rodam toolkit dentro do banco Oracle

Injeção de SQL em campo de autocompletar levou invasores a compilar um kit Java como…

2 horas ago

ClickFix no macOS esconde isca atrás de fingerprinting

Microsoft rastreou mais de 250 domínios que só mostram a isca a quem parece usar…

2 horas ago

IA autônoma encontra 14 mil vulnerabilidades em código aberto

Sistema agêntico da Unit 42 varreu 3.915 projetos em dois meses e reportou 14.090 falhas…

2 horas ago

Vazamento do Claude Code expõe código-fonte após .map publicado por engano

Erro no pacote npm do Claude Code expôs o código-fonte via arquivo .map, facilitando engenharia…

14 horas ago