benchmark

Benchmark audita revisores de IA com erros injetados em papers

Pesquisadores injetaram erros conhecidos em 30 artigos reais de astrofísica e de aprendizado de máquina para medir quantos os revisores…

3 dias ago

Equipes paralelas de agentes rendem mais que o best-of-N

Pesquisadores testaram três formas de gastar o mesmo orçamento de agentes em 12 tarefas longas e concluíram que vários times…

1 semana ago

Agentes de código escrevem os próprios jogadores e vencem

Em vez de jogar turno a turno, o agente escreve um programa que joga sozinho. Congelado e testado em cenários…

2 meses ago

Privacidade personalizada: LLMs ignoram regras do usuário

Estudo do IPAI da Universidade Nacional de Seul mede quanto modelos abertos desrespeitam políticas de divulgação declaradas pelo usuário e…

3 meses ago

Grok 4.5 gasta 4,2x menos tokens que Opus 4.8 no SWE-Bench Pro: SpaceXAI aposta na eficiência para vencer no custo por tarefa

Grok 4.5 chega com foco em código e agentes: 15.954 tokens médios em SWE-Bench Pro contra 67.020 do Opus 4.8,…

4 meses ago

OpenAI lanca GeneBench-Pro: benchmark de 129 problemas mostra que o melhor modelo do mundo ainda erra 70% das analises de biologia real

Novo benchmark da OpenAI mede research taste em biologia computacional. GPT-5.6 Sol acerta 31,5%; Claude Opus 4.8 fica em 16%.…

5 meses ago