ClinHallu: o benchmark que disseca onde a IA médica alucina — e como aplicar isso em modelos no Brasil

Resumo: O paper ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning, publicado no arXiv em junho de 2026 por pesquisadores do Alibaba DAMO Academy, propõe uma forma nova de avaliar quando e onde modelos multimodais médicos alucinam. Em vez de só perguntar “a resposta está certa?”, o benchmark decompõe o raciocínio em três etapas — reconhecimento visual, recuperação de conhecimento e integração — e mede em qual delas a falha começa. O dataset traz 7.031 instâncias validadas, com trilhas de raciocínio estruturadas, e está liberado no GitHub.

O que o ClinHallu mede

Benchmarks médicos como o MedHallu e o MedHallBench já avaliam alucinação em LLMs, mas tratam o erro como uma caixa-preta. ClinHallu abre essa caixa em três estágios:

• Visual Recognition (VR): o modelo viu corretamente o que está na imagem (RX, tomografia, lâmina histológica, fundo de olho)?
• Knowledge Recall (KR): o modelo recuperou o conhecimento médico correto sobre o que viu?
• Reasoning Integration (RI): o modelo combinou achado visual + conhecimento de forma consistente para chegar à conclusão?

Cada caso vem com a trilha de raciocínio anotada, permitindo isolar a etapa culpada por meio de uma técnica chamada stage-replacement intervention: substitui-se a saída de um estágio pela versão “gold” e verifica-se o impacto na resposta final.

Como usar o benchmark — passo a passo

1. Preparar ambiente

O repositório oficial está em github.com/alibaba-damo-academy/ClinHallu. Clone e instale as dependências em um Python ≥ 3.10. Você vai precisar de acesso a um modelo multimodal (Claude 3.7, GPT-5, Gemini 2.5 Pro, Qwen-VL ou um modelo médico aberto como LLaVA-Med 2.0).

2. Rodar a avaliação base

O runner incluído carrega as 7.031 instâncias, chama o modelo e classifica cada erro por estágio. A saída traz três taxas — VR-error, KR-error, RI-error — e a taxa final. Modelos genéricos costumam mostrar VR-error baixo em imagens claras, mas KR-error alto em medicina especializada; modelos médicos invertem o padrão.

3. Intervenção por estágio

Com o script stage_replace.py, você troca a saída do estágio suspeito pela referência humana e observa quanto a resposta final melhora. Isso indica onde investir: melhorar o encoder visual, expandir o corpus de fine-tuning médico ou trabalhar prompts e ferramentas de raciocínio.

4. Fine-tuning com supervisão por trilha

O paper mostra que trace-supervised fine-tuning — treinar o modelo não só com a resposta, mas com a trilha correta — reduz erros de estágio em todos os módulos. Para hospitais com dados próprios, o caminho prático é gerar trilhas semelhantes com revisores médicos, depois usar QLoRA ou PEFT para ajustar um modelo aberto.

Por que importa

Alucinação em LLM médico não é um erro estatístico igual aos outros: muda conduta clínica. Saber se o modelo errou por “ver mal” ou “raciocinar mal” é o equivalente, na vida real, a separar erro de exame de imagem de erro de interpretação. Para reguladores e desenvolvedores, esse nível de granularidade abre caminho para certificações setoriais reais — um modelo pode ser aprovado para triagem visual mas não para integração diagnóstica, por exemplo.

Status no Brasil

O cenário brasileiro tem dois movimentos relevantes: (1) o CFM publicou em 2024 o parecer 02/2024 limitando uso de IA em decisões médicas autônomas; (2) instituições como Hospital Israelita Albert Einstein, USP/InCor e HCFMUSP já experimentam LLMs médicos em projetos piloto. O ClinHallu cai bem nesse momento — fornece um framework objetivo para medir qual modelo serve para qual tarefa, com evidência por etapa. Para hospitais SUS, o benchmark também é útil em compras: a TI pode exigir, em edital, a apresentação das taxas VR/KR/RI antes de contratar um produto médico baseado em LLM.

Riscos e limitações

Quatro pontos para ter cuidado. (1) O dataset é predominantemente em inglês — performance em português ainda precisa ser revalidada. (2) A taxonomia de três estágios funciona bem em raciocínio diagnóstico, mas menos em tarefas como gestão de medicação ou monitoramento longitudinal. (3) Há risco de benchmark gaming: equipes podem otimizar para as métricas sem ganho clínico real. (4) Decisão clínica nunca deve depender de um único modelo — o paper é claro: ClinHallu é instrumento de QA, não substituto de validação prospectiva com pacientes.

Cenário para os próximos 12 meses

É provável que: (1) provedores enterprise (Google Cloud, AWS HealthAI, Azure Health Bot) incluam ClinHallu como suite-padrão de avaliação; (2) versões em português surjam — espera-se que UNIFESP e USP liderem; (3) reguladores latino-americanos comecem a citar o tipo de métrica do ClinHallu em consultas públicas sobre IA em saúde.

Conclusão prática

Se você desenvolve ou compra IA médica, três ações entram para o checklist hoje: incluir o ClinHallu na bateria de testes; pedir aos fornecedores as taxas VR/KR/RI separadas; e nunca apresentar resultado clínico baseado em LLM sem revisão humana qualificada. Como sempre em saúde, finanças e direito: a IA é copiloto, nunca substituta de um profissional habilitado.

Fonte original: arXiv 2606.14697 — ClinHallu: A Benchmark for Diagnosing Stage-Wise Hallucinations in Medical MLLM Reasoning.