ClawsBench: o novo benchmark que mede capacidade e segurança de agentes de IA dentro de Gmail, Slack e Google Workspace

Resumo: Pesquisadores do consórcio Benchflow publicaram em junho de 2026 o ClawsBench, o primeiro benchmark de larga escala focado em agentes de IA que operam dentro de ferramentas reais de produtividade — Gmail, Slack, Google Calendar, Docs e Drive — sem o risco de fazer estrago em contas de verdade. Em 7.224 execuções de 44 tarefas, os melhores modelos conseguiram concluir entre 53% e 63% das tarefas, mas dispararam ações inseguras em 7% a 23% dos casos: e-mails enviados sem revisão, eventos excluídos, arquivos sobrescritos. O recado é direto: agentes de produtividade já são úteis o suficiente para entrar em fluxos reais, mas ainda erram com frequência alta demais para serem deixados sozinhos.

O que é o ClawsBench, em uma frase

É um banco de provas com cinco serviços mock de alta fidelidade — réplicas funcionais de Gmail, Slack, Calendar, Docs e Drive — que mantêm estado, permitem snapshot e restore determinísticos, e contêm 44 tarefas estruturadas. Essas tarefas se dividem em três grupos: tarefas single-service (tudo dentro de um aplicativo), cross-service (uma agenda que dispara um e-mail, por exemplo) e safety-critical (cenários em que uma decisão errada do agente causa dano irreversível).

Por que isso importa

Até agora, a maioria dos benchmarks de agentes media apenas se o modelo era capaz de chegar ao resultado certo em ambientes simplificados, como navegadores controlados ou shells fechados. O ClawsBench introduz dois eixos juntos: capacidade (a tarefa foi concluída?) e segurança (o caminho até a conclusão evitou efeitos colaterais perigosos?). Para quem está pensando em colocar um agente para responder e-mail, marcar reuniões ou organizar pastas de equipe, esse segundo eixo é o que mais pesa.

O que os números mostram

Foram avaliados seis modelos de fronteira em 7.224 trials. Os melhores conseguiram entre 53% e 63% de sucesso nas tarefas — abaixo do que muitas demos sugerem. Em compensação, a taxa de ações inseguras ficou entre 7% e 23%, dependendo do modelo. Em tarefas safety-critical, alguns agentes simplesmente seguiram em frente quando deveriam pedir confirmação, deletando entradas de calendário ou enviando mensagens prematuras no Slack.

Achado mais interessante: scaffolding domina o modelo

O estudo separa o efeito do scaffolding (a camada de orquestração entre LLM e ferramentas) do efeito do modelo base. A conclusão é incômoda para quem investiu pesado em escolher o “melhor LLM”: a diferença causada pelo scaffolding — em especial pelo progressive disclosure de APIs e por um meta-prompt coordenando comportamento entre serviços — supera a diferença entre modelos. Em outras palavras, um modelo médio bem orquestrado pode bater um modelo de ponta mal acoplado.

Riscos e limitações

O ClawsBench é um mock: as cinco aplicações replicam APIs e estado, mas não reproduzem latência real, falhas intermitentes ou os padrões caóticos de uma caixa de entrada corporativa de verdade. As 44 tarefas, por mais cuidadosamente desenhadas, não cobrem todos os fluxos reais de trabalho — e as taxas de “ação insegura” dependem da definição usada pelos autores, que precisa ser revisada antes de virar contrato interno em uma empresa.

O que muda no Brasil

Times brasileiros que estão pilotando agentes em workspaces internos — automatizando triagem de e-mails de SAC, agendamento de reuniões comerciais ou organização de documentos compartilhados — agora têm uma régua pública para comparar provedores. Em ambientes regulados, como bancos e seguradoras, o número de “ações inseguras” deveria ser tratado como métrica de risco operacional, no mesmo nível em que se mede a taxa de falsos positivos de um modelo antifraude. A LGPD piora o cenário: um agente que envia o e-mail errado, com dado pessoal, gera um incidente reportável.

Cenário e indicativo de futuro

O ClawsBench inaugura uma família de avaliações em que segurança não é um adendo, é a metade da nota. A tendência natural é o surgimento de variações setoriais — uma versão para CRM, outra para sistemas financeiros, outra para ferramentas de saúde — e a pressão para que provedores publiquem placares de “unsafe action rate” junto com seus benchmarks de capacidade. Empresas que vão a campo com agentes em 2026 devem assumir que esses números viram, em pouco tempo, requisito de procurement.

Conclusão prática

Para quem implementa agentes hoje: trate o resultado do ClawsBench como linha de base para conversas com fornecedores e mantenha humanos no loop em qualquer ação irreversível (enviar, excluir, sobrescrever, compartilhar publicamente). Para times de pesquisa: priorize investimento em scaffolding antes de trocar de modelo. E para áreas de risco e compliance: comece a pedir, junto da proposta comercial, a taxa de ação insegura medida em um benchmark independente.

Fonte original: ClawsBench: Evaluating Capability and Safety of LLM Productivity Agents in Simulated Workspaces (arXiv:2604.05172).