Um preprint publicado no arXiv em 12 de novembro de 2026 tenta responder a uma pergunta que vem sendo feita sem método: afinal, quanta coisa um revisor automatizado encontra num artigo científico? A proposta dos autores é direta — pegar artigos reais, injetar neles erros conhecidos e controlados, e medir quantos cada sistema detecta, além de quantos alarmes falsos dispara em cópias limpas dos mesmos artigos.
O trabalho, de cinco autores listados ao final, tem identificador arXiv 2611.17052 e licença CC BY 4.0, com categoria principal em Computação e Linguagem e referências cruzadas em astrofísica, inteligência artificial e bibliotecas digitais.
O resultado mais claro é também o mais incômodo para quem pensa em adotar esse tipo de ferramenta: o que mais influencia a taxa de detecção não é o prompt, nem o conjunto de ferramentas acopladas, nem a arquitetura multiagente — é qual modelo está por trás. Com o mesmo prompt, três modelos de fronteira diferem em cerca de 50 pontos percentuais na detecção total, nos dois corpora testados.
O uso de modelos de linguagem na revisão por pares deixou de ser hipótese. Conferências e editoras discutem políticas a respeito, pesquisadores usam esses sistemas para checar os próprios rascunhos antes de submeter, e já existem serviços comerciais que prometem revisão assistida. Falta, em geral, a parte chata: uma medida de quanto esses sistemas acertam, feita com referência conhecida.
A dificuldade metodológica é que não se sabe quais erros existem num artigo real — se soubéssemos, o problema estaria resolvido. A saída adotada aqui é clássica em avaliação de ferramentas de detecção: construir o gabarito artificialmente, introduzindo defeitos cuja natureza e posição são conhecidas, e aceitar que isso mede detecção de erros plantados, não de erros naturais. Os próprios autores registram essa limitação.
Os erros são injetados diretamente no código-fonte LaTeX de cada artigo, em quatro tipos — problemas gerais, matemática, numéricos e citações — e em três níveis de gravidade, descritos como sutil, claro e evidente. Cada artigo gera uma cópia limpa, usada para medir falsos positivos, e três cópias com defeitos. Cada cópia com defeito carrega um erro de cada tipo, e cada combinação de tipo e gravidade aparece exatamente uma vez entre as três cópias.
A injeção é feita por um agente baseado em modelo de linguagem — Claude Sonnet 4.6 para astrofísica e Gemini 3.1 Pro para aprendizado de máquina — e só é aceita se passar por um validador mecânico; caso contrário, a tentativa é refeita. É um detalhe relevante: quem planta o erro é um modelo, com validação automática, e não um especialista humano revisando cada inserção.
Os dois corpora são pequenos e deliberadamente recentes:
São 30 artigos e 357 erros plantados. A escolha de datas posteriores ao corte de treinamento dos modelos avaliados reduz o risco de memorização, mas o tamanho da amostra limita o que se pode concluir sobre áreas específicas.
O conjunto cobre desde chamadas simples a um modelo até arquiteturas com ferramentas externas:
wolframscript, nas mesmas duas configurações.wolframscript ou análise dimensional; numéricos, conferidos por código Python; e citações, checadas por um modelo com os artigos citados no contexto. A configuração avaliada foi congelada em 21 de abril de 2026.Esta é a parte do desenho que costuma ser subestimada. Um revisor automatizado produz texto corrido; decidir se uma observação qualquer corresponde ao erro plantado exige julgamento. Os autores usam um painel de três juízes de famílias diferentes — Claude Sonnet 4.6, GPT-5.4 e Gemini 3 Flash — com decisão por maioria. Casos de baixa confiança ou com placar de 2 a 1 são escalados para uma segunda análise, com o PDF anexado.
Os números desse processo dão a dimensão do esforço: de 4.084 julgamentos por tipo de erro, 93,5% foram unânimes já na primeira rodada; a escalada foi acionada em 34,9% das injeções e reverteu 2,7% dos julgamentos. Para os falsos positivos, o caminho é diferente: um modelo extrai as afirmações claras feitas sobre as cópias limpas, e cada uma é checada conforme o tipo — citações por um painel de dois juízes com os PDFs, numéricos por execução de Python, matemática pelo módulo correspondente do Skepthical e problemas gerais por um painel de três juízes.
Vale registrar o que isso implica: o gabarito é construído por modelos e a adjudicação é feita por modelos. É uma escolha defensável em escala, e os autores mitigam o risco usando famílias diferentes e liberando os registros completos, mas significa que o benchmark mede concordância entre sistemas automáticos, não concordância com um painel de especialistas humanos.
A tabela abaixo reproduz as taxas de detecção dos seis revisores de modelo único no corpus de astrofísica, em porcentagem, com intervalo de confiança de 95% obtido por reamostragem no nível do artigo.
| Revisor | Citações | Numéricos | Matemática | Gerais | Total |
|---|---|---|---|---|---|
| Claude Opus 4.7, livre | 9,3 ± 10 | 55,8 ± 15 | 32,5 ± 17 | 48,8 ± 15 | 36,7 ± 8,5 |
| GPT-5.5, livre | 22,2 ± 13 | 80,0 ± 10 | 73,8 ± 13 | 66,7 ± 12 | 60,5 ± 6,0 |
| Gemini 3.1 Pro, livre | 4,4 ± 5,6 | 13,3 ± 13 | 2,4 ± 3,6 | 26,7 ± 12 | 11,9 ± 5,8 |
| Claude Opus 4.7, estruturado | 20,9 ± 12 | 79,1 ± 12 | 55,0 ± 16 | 58,1 ± 18 | 53,3 ± 9,1 |
| GPT-5.5, estruturado | 18,2 ± 8,7 | 79,5 ± 12 | 75,6 ± 12 | 72,7 ± 11 | 61,3 ± 6,6 |
| Gemini 3.1 Pro, estruturado | 11,1 ± 7,8 | 57,8 ± 18 | 45,2 ± 19 | 35,6 ± 13 | 37,3 ± 5,7 |
Três leituras saltam da tabela. A primeira é a distância entre modelos: com o prompt livre, a diferença entre o melhor e o pior total é de quase 49 pontos percentuais. A segunda é que o prompt estruturado de 978 linhas ajuda muito quem estava mal — o Gemini sobe de 11,9% para 37,3%, o Claude de 36,7% para 53,3% — e praticamente não altera quem já estava bem, com o GPT-5.5 passando de 60,5% para 61,3%. A terceira é a mais relevante para a integridade científica: citações são o ponto cego generalizado. Nenhum revisor de modelo único passa de 22,2% nessa categoria, enquanto erros numéricos chegam a 80%.
Os resultados dos sistemas com ferramentas acopladas e do Skepthical estão no corpo do artigo, e o resumo dos autores sintetiza o padrão: as ferramentas rendem onde suprem uma deficiência do modelo, não como melhoria uniforme. Em astrofísica, dar ao Claude um ambiente com Python e álgebra simbólica melhora a detecção de matemática e de numéricos em relação a uma chamada simples ao mesmo modelo — justamente as categorias em que verificar exige calcular, e não ler.
Para citações, o ganho vem de outra coisa: ter os artigos citados no contexto. Em astrofísica, o Skepthical registra a maior taxa de detecção de citações entre todos os sistemas, por margem larga. Em aprendizado de máquina, porém, essa vantagem desaparece — sua taxa fica estatisticamente indistinguível da do melhor modelo isolado. Os autores não transformam isso em tese, e convém não transformar tampouco; é um resultado que pede explicação, não uma explicação pronta.
Quanto aos alarmes falsos, a maioria dos sistemas fica abaixo de 10% nas cópias limpas, com variação conforme prompt, modelo e andaime, e com as sinalizações de matemática respondendo pela maior parte dos casos. É um número tranquilizador em termos absolutos, mas que merece contexto: numa revisão real, cada falso positivo custa tempo de um autor ou de um editor humano para ser descartado.
Para quem pensa em usar esse tipo de sistema, o estudo sugere algumas conclusões operacionais que não dependem de concordar com o desenho do benchmark.
Os autores registram que a taxonomia adotada pode não refletir os erros que ocorrem naturalmente, e que os níveis de gravidade são calibrados dentro de cada tipo de erro, mas não entre tipos — ou seja, um erro “sutil” de matemática não é diretamente comparável a um erro “sutil” de citação.
A estas somam-se cautelas de leitura. A amostra é de 30 artigos e dois dias de submissão, o que limita a generalização para outras áreas, formatos e estilos de escrita. Dois dos sistemas avaliados foram construídos pelos próprios autores, o que exige a atenção habitual com comparações em que o proponente também é juiz — mitigada, no caso, pela publicação do pipeline, das injeções e dos registros de adjudicação. E, como os modelos avançam rápido, qualquer tabela desse tipo é uma fotografia: a configuração do Skepthical foi congelada em abril de 2026, meses antes da publicação.
Por fim, uma nota sobre o próprio estatuto do texto: o registro no arXiv é da versão 1, de 12 de novembro de 2026, enquanto o repositório publicado pelos autores descreve o trabalho como artigo do NeurIPS 2026 — informação que a página do arXiv não traz. No repositório, os dados estão sob licença CC BY 4.0 e o código sob MIT, e os artigos originais não são redistribuídos.
O mérito do trabalho está menos em eleger um vencedor e mais em oferecer uma régua pública e reproduzível para uma pergunta que vinha sendo respondida por impressão. O pipeline de avaliação, os erros injetados, as listas de artigos, os catálogos de injeção e os registros completos de adjudicação foram liberados como benchmark aberto, e o Skepthical está acessível publicamente.
A conclusão que atravessa os números é consistente com o que se vê em outras aplicações de modelos de linguagem a tarefas de verificação: eles são bons onde o erro é local e checável, medianos onde é preciso entender o argumento e fracos onde é preciso buscar fora do texto. O que vale observar a seguir é se outros grupos adotam o benchmark para medir seus próprios sistemas, se a detecção de citações melhora quando o acesso à literatura citada é tratado como requisito de arquitetura, e se editoras e conferências passam a exigir medida de desempenho antes de aceitar revisão assistida por máquina.
A plataforma do Google Research reúne dados de milhares de idiomas sobre falantes, sistemas de…
A sexta edição anual do relatório da Sophos ouviu 217 líderes de TI do varejo…
Horas depois da queda de quase 24 horas do Exchange Online, campanhas de e-mail passaram…
Pesquisadores da Universidade de Tóquio e do Instituto de Automação da Academia Chinesa de Ciências…
Uma chave de acesso exposta em um fornecedor de inferência abriu caminho para o roubo…
O Google abriu para uso externo o sistema que coordena dezenas de agentes em paralelo…