Benchmark audita revisores de IA com erros injetados em papers

Um preprint publicado no arXiv em 12 de novembro de 2026 tenta responder a uma pergunta que vem sendo feita sem método: afinal, quanta coisa um revisor automatizado encontra num artigo científico? A proposta dos autores é direta — pegar artigos reais, injetar neles erros conhecidos e controlados, e medir quantos cada sistema detecta, além de quantos alarmes falsos dispara em cópias limpas dos mesmos artigos.

O trabalho, de cinco autores listados ao final, tem identificador arXiv 2611.17052 e licença CC BY 4.0, com categoria principal em Computação e Linguagem e referências cruzadas em astrofísica, inteligência artificial e bibliotecas digitais.

O resultado mais claro é também o mais incômodo para quem pensa em adotar esse tipo de ferramenta: o que mais influencia a taxa de detecção não é o prompt, nem o conjunto de ferramentas acopladas, nem a arquitetura multiagente — é qual modelo está por trás. Com o mesmo prompt, três modelos de fronteira diferem em cerca de 50 pontos percentuais na detecção total, nos dois corpora testados.

Por que auditar o revisor automatizado

O uso de modelos de linguagem na revisão por pares deixou de ser hipótese. Conferências e editoras discutem políticas a respeito, pesquisadores usam esses sistemas para checar os próprios rascunhos antes de submeter, e já existem serviços comerciais que prometem revisão assistida. Falta, em geral, a parte chata: uma medida de quanto esses sistemas acertam, feita com referência conhecida.

A dificuldade metodológica é que não se sabe quais erros existem num artigo real — se soubéssemos, o problema estaria resolvido. A saída adotada aqui é clássica em avaliação de ferramentas de detecção: construir o gabarito artificialmente, introduzindo defeitos cuja natureza e posição são conhecidas, e aceitar que isso mede detecção de erros plantados, não de erros naturais. Os próprios autores registram essa limitação.

Como o benchmark foi construído

Os erros são injetados diretamente no código-fonte LaTeX de cada artigo, em quatro tipos — problemas gerais, matemática, numéricos e citações — e em três níveis de gravidade, descritos como sutil, claro e evidente. Cada artigo gera uma cópia limpa, usada para medir falsos positivos, e três cópias com defeitos. Cada cópia com defeito carrega um erro de cada tipo, e cada combinação de tipo e gravidade aparece exatamente uma vez entre as três cópias.

A injeção é feita por um agente baseado em modelo de linguagem — Claude Sonnet 4.6 para astrofísica e Gemini 3.1 Pro para aprendizado de máquina — e só é aceita se passar por um validador mecânico; caso contrário, a tentativa é refeita. É um detalhe relevante: quem planta o erro é um modelo, com validação automática, e não um especialista humano revisando cada inserção.

Os dois corpora são pequenos e deliberadamente recentes:

  • Astrofísica: 15 das 24 submissões a astro-ph de 22 de abril de 2026 que cabiam no limite de 20 páginas, com mediana de 13 páginas. Resultam 177 erros injetados — um artigo tinha equações em número insuficiente para a injeção de matemática.
  • Aprendizado de máquina: 15 das 74 submissões elegíveis a cs.LG de 15 de julho de 2026, sorteadas de forma estratificada em oito subáreas, com mediana de 9 páginas e intervalo de 3 a 19. Resultam 180 erros injetados.

São 30 artigos e 357 erros plantados. A escolha de datas posteriores ao corte de treinamento dos modelos avaliados reduz o risco de memorização, mas o tamanho da amostra limita o que se pode concluir sobre áreas específicas.

Os doze sistemas avaliados

O conjunto cobre desde chamadas simples a um modelo até arquiteturas com ferramentas externas:

  • Seis revisores de modelo único: Claude Opus 4.7, GPT-5.5 e Gemini 3.1 Pro, cada um em duas configurações — um prompt livre e um prompt estruturado de 978 linhas.
  • Dois com ambiente de execução: Claude Opus 4.7 em sandbox com leitura de arquivos, shell, busca textual, Python e wolframscript, nas mesmas duas configurações.
  • Skepthical, sistema multiagente dos próprios autores, com quatro módulos: problemas gerais, combinando relatórios de três famílias de modelos; matemática, verificada com wolframscript ou análise dimensional; numéricos, conferidos por código Python; e citações, checadas por um modelo com os artigos citados no contexto. A configuração avaliada foi congelada em 21 de abril de 2026.
  • Três sistemas externos: o Stanford Agentic Reviewer, de código fechado e testado apenas em astrofísica; o OpenReviewer-8B, um Llama-3.1-8B ajustado com cerca de 79 mil revisões de ICLR e NeurIPS; e o detector do PaperAudit-Bench, baseado em Qwen3-14B.

Quem decide se o erro foi mesmo encontrado

Esta é a parte do desenho que costuma ser subestimada. Um revisor automatizado produz texto corrido; decidir se uma observação qualquer corresponde ao erro plantado exige julgamento. Os autores usam um painel de três juízes de famílias diferentes — Claude Sonnet 4.6, GPT-5.4 e Gemini 3 Flash — com decisão por maioria. Casos de baixa confiança ou com placar de 2 a 1 são escalados para uma segunda análise, com o PDF anexado.

Os números desse processo dão a dimensão do esforço: de 4.084 julgamentos por tipo de erro, 93,5% foram unânimes já na primeira rodada; a escalada foi acionada em 34,9% das injeções e reverteu 2,7% dos julgamentos. Para os falsos positivos, o caminho é diferente: um modelo extrai as afirmações claras feitas sobre as cópias limpas, e cada uma é checada conforme o tipo — citações por um painel de dois juízes com os PDFs, numéricos por execução de Python, matemática pelo módulo correspondente do Skepthical e problemas gerais por um painel de três juízes.

Vale registrar o que isso implica: o gabarito é construído por modelos e a adjudicação é feita por modelos. É uma escolha defensável em escala, e os autores mitigam o risco usando famílias diferentes e liberando os registros completos, mas significa que o benchmark mede concordância entre sistemas automáticos, não concordância com um painel de especialistas humanos.

Os resultados em astrofísica

A tabela abaixo reproduz as taxas de detecção dos seis revisores de modelo único no corpus de astrofísica, em porcentagem, com intervalo de confiança de 95% obtido por reamostragem no nível do artigo.

Revisor Citações Numéricos Matemática Gerais Total
Claude Opus 4.7, livre 9,3 ± 10 55,8 ± 15 32,5 ± 17 48,8 ± 15 36,7 ± 8,5
GPT-5.5, livre 22,2 ± 13 80,0 ± 10 73,8 ± 13 66,7 ± 12 60,5 ± 6,0
Gemini 3.1 Pro, livre 4,4 ± 5,6 13,3 ± 13 2,4 ± 3,6 26,7 ± 12 11,9 ± 5,8
Claude Opus 4.7, estruturado 20,9 ± 12 79,1 ± 12 55,0 ± 16 58,1 ± 18 53,3 ± 9,1
GPT-5.5, estruturado 18,2 ± 8,7 79,5 ± 12 75,6 ± 12 72,7 ± 11 61,3 ± 6,6
Gemini 3.1 Pro, estruturado 11,1 ± 7,8 57,8 ± 18 45,2 ± 19 35,6 ± 13 37,3 ± 5,7

Três leituras saltam da tabela. A primeira é a distância entre modelos: com o prompt livre, a diferença entre o melhor e o pior total é de quase 49 pontos percentuais. A segunda é que o prompt estruturado de 978 linhas ajuda muito quem estava mal — o Gemini sobe de 11,9% para 37,3%, o Claude de 36,7% para 53,3% — e praticamente não altera quem já estava bem, com o GPT-5.5 passando de 60,5% para 61,3%. A terceira é a mais relevante para a integridade científica: citações são o ponto cego generalizado. Nenhum revisor de modelo único passa de 22,2% nessa categoria, enquanto erros numéricos chegam a 80%.

Ferramentas ajudam onde o modelo é fraco

Os resultados dos sistemas com ferramentas acopladas e do Skepthical estão no corpo do artigo, e o resumo dos autores sintetiza o padrão: as ferramentas rendem onde suprem uma deficiência do modelo, não como melhoria uniforme. Em astrofísica, dar ao Claude um ambiente com Python e álgebra simbólica melhora a detecção de matemática e de numéricos em relação a uma chamada simples ao mesmo modelo — justamente as categorias em que verificar exige calcular, e não ler.

Para citações, o ganho vem de outra coisa: ter os artigos citados no contexto. Em astrofísica, o Skepthical registra a maior taxa de detecção de citações entre todos os sistemas, por margem larga. Em aprendizado de máquina, porém, essa vantagem desaparece — sua taxa fica estatisticamente indistinguível da do melhor modelo isolado. Os autores não transformam isso em tese, e convém não transformar tampouco; é um resultado que pede explicação, não uma explicação pronta.

Quanto aos alarmes falsos, a maioria dos sistemas fica abaixo de 10% nas cópias limpas, com variação conforme prompt, modelo e andaime, e com as sinalizações de matemática respondendo pela maior parte dos casos. É um número tranquilizador em termos absolutos, mas que merece contexto: numa revisão real, cada falso positivo custa tempo de um autor ou de um editor humano para ser descartado.

O que isso muda na prática

Para quem pensa em usar esse tipo de sistema, o estudo sugere algumas conclusões operacionais que não dependem de concordar com o desenho do benchmark.

  • A escolha do modelo é a decisão de maior impacto. Investir em engenharia de prompt sobre um modelo fraco rende menos que trocar o modelo — e o prompt estruturado, caro de manter, serve principalmente para aproximar os piores dos melhores.
  • Verificação determinística vale onde cabe. Numéricos e álgebra são os domínios em que ferramentas externas entregam ganho claro, porque transformam julgamento em cálculo.
  • Citações continuam sendo o elo frágil. É precisamente a categoria em que erros passam despercebidos também na revisão humana, e em que fabricação de referências por modelos de linguagem já é um problema documentado. Uma taxa de detecção abaixo de 25% desaconselha delegar essa checagem.
  • Esses sistemas são triagem, não revisão. Mesmo o melhor resultado total, de pouco mais de 61%, significa que quase quatro em cada dez erros plantados passaram.

Limitações declaradas e cautelas de leitura

Os autores registram que a taxonomia adotada pode não refletir os erros que ocorrem naturalmente, e que os níveis de gravidade são calibrados dentro de cada tipo de erro, mas não entre tipos — ou seja, um erro “sutil” de matemática não é diretamente comparável a um erro “sutil” de citação.

A estas somam-se cautelas de leitura. A amostra é de 30 artigos e dois dias de submissão, o que limita a generalização para outras áreas, formatos e estilos de escrita. Dois dos sistemas avaliados foram construídos pelos próprios autores, o que exige a atenção habitual com comparações em que o proponente também é juiz — mitigada, no caso, pela publicação do pipeline, das injeções e dos registros de adjudicação. E, como os modelos avançam rápido, qualquer tabela desse tipo é uma fotografia: a configuração do Skepthical foi congelada em abril de 2026, meses antes da publicação.

Por fim, uma nota sobre o próprio estatuto do texto: o registro no arXiv é da versão 1, de 12 de novembro de 2026, enquanto o repositório publicado pelos autores descreve o trabalho como artigo do NeurIPS 2026 — informação que a página do arXiv não traz. No repositório, os dados estão sob licença CC BY 4.0 e o código sob MIT, e os artigos originais não são redistribuídos.

Conclusão

O mérito do trabalho está menos em eleger um vencedor e mais em oferecer uma régua pública e reproduzível para uma pergunta que vinha sendo respondida por impressão. O pipeline de avaliação, os erros injetados, as listas de artigos, os catálogos de injeção e os registros completos de adjudicação foram liberados como benchmark aberto, e o Skepthical está acessível publicamente.

A conclusão que atravessa os números é consistente com o que se vê em outras aplicações de modelos de linguagem a tarefas de verificação: eles são bons onde o erro é local e checável, medianos onde é preciso entender o argumento e fracos onde é preciso buscar fora do texto. O que vale observar a seguir é se outros grupos adotam o benchmark para medir seus próprios sistemas, se a detecção de citações melhora quando o acesso à literatura citada é tratado como requisito de arquitetura, e se editoras e conferências passam a exigir medida de desempenho antes de aceitar revisão assistida por máquina.

Fontes e referências

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Language Explorer mapeia a diversidade de idiomas do mundo

A plataforma do Google Research reúne dados de milhares de idiomas sobre falantes, sistemas de…

7 horas ago

Ransomware no varejo: criptografia sobe e resgate cai

A sexta edição anual do relatório da Sophos ouviu 217 líderes de TI do varejo…

7 horas ago

Phishing no Microsoft 365 usa o apagão global como isca

Horas depois da queda de quase 24 horas do Exchange Online, campanhas de e-mail passaram…

7 horas ago

CapLite barra injeção de prompt em agentes de modelos pequenos

Pesquisadores da Universidade de Tóquio e do Instituto de Automação da Academia Chinesa de Ciências…

7 horas ago

Invasão da Cursor distribuiu extensão falsa do Claude Code

Uma chave de acesso exposta em um fornecedor de inferência abriu caminho para o roubo…

7 horas ago

Antigravity /teamwork: Google libera seu sistema multiagente

O Google abriu para uso externo o sistema que coordena dezenas de agentes em paralelo…

3 dias ago