OpenAI lanca GeneBench-Pro: benchmark de 129 problemas mostra que o melhor modelo do mundo ainda erra 70% das analises de biologia real
Novo benchmark da OpenAI mede research taste em biologia computacional. GPT-5.6 Sol acerta 31,5%; Claude Opus 4.8 fica em 16%. A conta ainda e humano-plus-IA.
Resumo: Em 30 de junho, a OpenAI publicou o GeneBench-Pro, um benchmark inédito construído para medir não a "prova de biologia" que um modelo passa, mas sim o julgamento científico que ele exerce diante de dados sujos e questões abertas. São 129 problemas distribuídos por dez áreas — genética estatística, genômica de câncer, diagnóstico clínico, farmacogenômica, entre outras — cada um pareando um dataset sintético com estrutura causal totalmente conhecida a uma pergunta-alvo ligada a uma decisão real. O primeiro placar é revelador: o novo GPT-5.6 Sol Pro, no nível máximo de raciocínio, atinge 31,5% de acerto. O Claude Opus 4.8, melhor não-OpenAI da lista, fica em 16%. Tradução: mesmo no modelo mais forte, a IA continua errando 70% das análises que um bioinformata sênior faria com tempo e ferramentas.
O que a OpenAI está tentando medir
A tese central do time de biosseguridade e ciência da OpenAI é que a maior parte dos benchmarks atuais em ciência mede recuperação — "explique o teorema", "resuma o paper", "aponte o gene relacionado" — e não a habilidade que separa um pós-doc do primeiro semestre de um pesquisador maduro. Essa habilidade é apelidada por eles de research taste: quais perguntas os dados realmente conseguem responder; como pequenos indícios de má qualidade devem mudar sua modelagem; quando abandonar o plano inicial.
Cada problema do GeneBench-Pro é um pacote com quatro camadas. Primeiro, um dataset sintético cuja estrutura causal foi construída pelos autores — ou seja, existe uma resposta certa auditável. Segundo, ruído injetado deliberadamente (missing data, correlações espúrias, artefatos de laboratório). Terceiro, um estimand alvo ligado a uma decisão terapêutica ou de política. Quarto, uma rubrica de correção que aceita caminhos diferentes desde que a inferência sobreviva a controles causais.
Os dez domínios cobrem genômica de câncer, expressão gênica, análise estatística de GWAS, farmacogenômica, virologia, single-cell, proteômica, epidemiologia genética, edição genética e integração multi-ômica.
Os números — e o que eles significam
No relatório técnico, o GPT-5.6 Sol Pro (o modelo mais potente do preview atual, ainda em acesso restrito) atinge 31,5% de pass rate em max reasoning effort. A versão Sol "padrão" chega a 28,7%. O Claude Opus 4.8, o melhor concorrente não-OpenAI, marca 16%. Modelos anteriores como GPT-5 e Gemini 2.5 Pro ficam abaixo de 10%. Especialistas humanos, num pequeno painel, chegam à casa de 60–70% com tempo e acesso a ferramentas — o que mostra que a IA melhora rápido, mas ainda está longe do teto.
O ponto mais interessante do estudo é o padrão de erros. Modelos costumam começar com uma hipótese razoável, mas ignoram sinais tardios — outliers que deveriam mudar a modelagem, correlações que deveriam sugerir confounding, testes estatísticos com premissas violadas. Em outras palavras, alucinação simples não é o gargalo; o gargalo é a falta de self-correction ao longo de uma análise longa.
Análise SWOT — GeneBench-Pro no mercado de IA para ciências da vida
Rubrica auditavel com verdade causal conhecida, 129 problemas cobrindo 10 dominios, foco em julgamento e nao em recuperacao.
Benchmark construido pelo mesmo dono do modelo campeao, uso predominante de dados sinteticos, ausencia de leitura clinica em ambiente real.
Adaptacao para populacoes brasileiras (GeneBench-BR), ganchos com CNPq/FAPESP, uso como criterio de compra publica de IA para saude.
Corrida por gaming do benchmark, risco de dual use em virologia/edicao genetica, hype comercial que confunda pesquisa com diagnostico.
Por que importa (e o status no Brasil)
Para o Brasil, o GeneBench-Pro chega num momento útil. Consórcios como a Rede Brasileira de Bioinformática, o INCT em Câncer e a plataforma Genomas Brasil geram cada vez mais dados de sequenciamento, mas esbarram em falta de bioinformatas seniores. A tentação de "botar um LLM para resolver" é grande — e o benchmark mostra por que essa expectativa precisa ser calibrada. Modelos de fronteira aceleram, mas não substituem a leitura crítica de um pesquisador experiente.
Por outro lado, o benchmark abre um caminho de coalizão pública: adaptar problemas do GeneBench-Pro a datasets brasileiros (câncer de mama, arboviroses, farmacogenômica de populações admixtas) daria ao país um instrumento próprio para avaliar assistentes de biologia local. É o tipo de projeto que caberia num edital do CNPq, FAPESP ou FAPERJ.
Riscos e limitações
Alguns pontos merecem ceticismo saudável. Um benchmark construído pela mesma empresa que fabrica o modelo campeão exige revisão externa: é preciso publicação em conferência peer-reviewed, replicação por grupos independentes e comparação com painéis humanos maiores. Segundo, dados sintéticos, mesmo bem construídos, não capturam toda a bagunça do mundo real — plataformas diferentes, protocolos de laboratório heterogêneos, artefatos que só surgem em condições clínicas.
Terceiro, o teste desconsidera o que mais importa em prática: interpretabilidade da decisão, uso responsável em contexto clínico, LGPD, LGPD-genoma. Um modelo que acerta 31,5% de análises pode ser útil em pesquisa acadêmica e simultaneamente perigoso em ambiente hospitalar sem controles. Por fim, há a preocupação de dual use: benchmarks que medem raciocínio em virologia podem, no limite, guiar mau uso. A OpenAI diz aplicar filtros de safety, mas o debate continuará.
Cenário
Em 12 meses, o GeneBench-Pro deve virar padrão de facto para "reportar antes de vender IA para ciência". Anthropic, Google e xAI provavelmente publicarão adaptações. Universidades vão querer versões locais. E, para a OpenAI, o benchmark serve de laboratório: os erros observados são material perfeito para novas rodadas de fine-tuning e reinforcement learning científico. É plausível supor que a próxima geração — GPT-5.7 ou 6.0 — traga saltos justamente onde o Sol atual tropeça: reconsideração de plano diante de sinais tardios.
Conclusão prática
Para times de saúde, farma e biotecnologia, três recomendações. Primeiro, se você vai usar LLMs em análise de dados biológicos, adote workflow humano-plus-IA com ceticismo estruturado: peça ao modelo para listar hipóteses alternativas, controles causais faltando e razões para abandonar a análise. Segundo, guarde logs de raciocínio: um dia, o auditor vai perguntar. Terceiro, para pesquisadores brasileiros, considere propor um "GeneBench-BR" com dados populacionais locais. Para leitores em geral: quando ouvir que "a IA já é melhor que biólogo", lembre que hoje o melhor modelo do planeta ainda erra 70% dessa prova — e isso é ok, desde que ninguém venda a IA como diagnóstico final.
Fonte original: OpenAI — Introducing GeneBench-Pro (30 de junho de 2026).
