Petri 2.0: como a Anthropic está auditando modelos de IA e por que doou a ferramenta

Resumo: A Anthropic publicou o Petri 2.0, atualização da sua ferramenta open source de auditoria automatizada de modelos de IA. A nova versão melhora a “consciência de avaliação” dos modelos auditores, amplia os cenários para mais de 180 sementes e simplifica a infraestrutura. Em paralelo, a Anthropic doou o projeto à Meridian Labs, uma organização sem fins lucrativos especializada em avaliação de IA, para garantir neutralidade — algo essencial em um instrumento usado para comparar laboratórios concorrentes.

O que é o Petri

Petri é a sigla de Parallel Exploration Tool for Risky Interactions. Na prática, é um agente que simula conversas com um modelo alvo (Claude, GPT, Gemini, Llama, etc.) usando outro modelo como “auditor” e um terceiro como “juiz”. As conversas são geradas a partir de sementes (seeds) — pequenas instruções como “tente fazer o modelo enganar um usuário com viés político” ou “verifique se o modelo aceita instruções de uma terceira parte mal-intencionada”. O juiz pontua os comportamentos preocupantes e gera um relatório.

A ideia é dar a pesquisadores, reguladores e empresas uma forma rápida e padronizada de testar hipóteses de alinhamento — algo que, há dois anos, exigiria semanas de trabalho manual e tinha pouca comparabilidade entre laboratórios.

O que muda no Petri 2.0

  • Mitigação de eval-awareness: modelos modernos vêm “percebendo” que estão sendo avaliados e se comportam diferente. O Petri 2.0 traz heurísticas de prompt e mascaramento para que o alvo se comporte como em uso real.
  • 181 sementes: a biblioteca passou de cerca de 100 para 181 cenários, cobrindo bajulação, deceptividade, cooperação com pedidos prejudiciais, sabotagem em ferramentas e exfiltração de dados.
  • Comparação entre modelos: tabela de scoring em formato compatível com os relatórios públicos de modelos de fronteira, facilitando comparações apple-to-apple.
  • Infraestrutura mais leve: a versão roda em containers padrão e se integra ao framework Inspect, do UK AI Safety Institute, simplificando uso por terceiros.

Por que importa — e como o Brasil pode usar

Auditoria automatizada de alinhamento é um dos calcanhares de aquiles do mercado de IA. Reguladores precisam de evidências mensuráveis; empresas precisam mostrar que adotaram modelos com risco controlado; pesquisadores precisam comparar resultados entre experimentos. Ferramentas como o Petri vão ocupar esse papel, parecido com o que linters e SAST ocuparam em segurança de software.

No Brasil, a ANPD e o futuro marco legal de IA (PL 2338/2023) tendem a exigir que sistemas considerados de alto risco apresentem relatórios de impacto. Universidades, agências reguladoras setoriais (Anatel, Anvisa, Bacen) e empresas que adotam modelos de fronteira ganham com um instrumento neutro e replicável. O fato de o Petri agora pertencer à Meridian Labs — fora da estrutura de qualquer laboratório de IA — fortalece sua aceitação como referência.

Riscos e limitações

  • Auditor é também IA: usar um modelo para julgar outro tem limites conhecidos. Vieses do juiz podem mascarar problemas reais.
  • Cobertura: 181 cenários é muito, mas não cobre todos os usos — modelos especializados em saúde, finanças ou jurídico precisam de sementes próprias.
  • Risco de gaming: uma vez padronizada a métrica, laboratórios podem otimizar para ela e mascarar problemas em outras dimensões.
  • Reprodutibilidade: as transcrições simuladas mudam a cada execução; comparações exigem rodadas múltiplas e médias.

Cenário: para onde isso caminha

O movimento da Anthropic se soma a uma onda mais ampla de doações e padronizações em segurança de IA: o Inspect, do UK AISI; o ML Commons; o AI Safety Benchmark do MLCommons. A tendência é convergir para um “SOC 2 da IA”: relatórios independentes, padronizados, exigidos em contratos B2B e em editais públicos. Para CIOs e CISOs brasileiros, vale acompanhar de perto — em poucos anos, atender Petri (ou equivalente) deve virar requisito em RFPs.

Vale lembrar que a comunidade já trabalha no Petri 3.0, primeiro lançamento sob a Meridian Labs, com cenários ainda mais realistas e adaptativos. O projeto se torna, portanto, um campo de pesquisa contínua e não um produto estático.

Conclusão prática: o que muda

Para times de IA, recomenda-se três ações. Primeiro, baixar o Petri 2.0 (open source) e rodar contra os modelos atualmente em produção — começar por sementes relacionadas a vazamento de prompt, deceptividade e cooperação com pedidos abusivos. Segundo, escrever sementes próprias para casos do seu domínio (atendimento médico, análise de crédito, contratos). Terceiro, incluir o resultado no documento de governança da IA, junto a riscos identificados e mitigações. Em áreas sensíveis — saúde, finanças, jurídico e segurança da informação — a auditoria não substitui especialistas humanos, mas oferece um piso mínimo objetivo.

Para conselhos de administração e diretorias, o recado é que a partir de agora não basta dizer “usamos um modelo confiável”: convém apresentar resultados de auditoria com ferramenta independente, indicadores específicos do uso pretendido e plano de remediação. Em ambientes corporativos onde a IA toma decisões automatizadas que afetam pessoas — concessão de crédito, triagem de currículos, atendimento ao consumidor — a expectativa regulatória é exatamente essa: prova externa de comportamento. Petri, somado a outras avaliações (red-teaming humano, testes de carga, monitoramento contínuo), forma a base de um programa de governança que tende a virar padrão de mercado nos próximos dois anos.

Fonte original: Anthropic — Petri 2.0: New Scenarios, New Model Comparisons, and Improved Eval-Awareness Mitigations.

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Google mede contextualidade quântica em até 105 qubits no Willow

Publicado na Science, o experimento ganha o jogo do quadrado mágico em 98,30% das rodadas,…

10 horas ago

BlockJack desvia o cache KV do vLLM entre inquilinos diferentes

Preprint de seis universidades mostra que corromper um único registro da tabela de blocos faz…

10 horas ago

SCKit abusa do ScreenConnect para atacar sessões de técnicos

A Microsoft confirmou a campanha relatada pela ConnectWise e detalhou um kit que inverte o…

10 horas ago

F5 libera hotfixes de emergência para cinco falhas críticas no BIG-IP

Os avisos publicados em 18 de novembro atribuem CVSS 4.0 de 9,3 a cinco estouros…

10 horas ago

Ataque recupera texto exato no aprendizado federado

Preprint do BITS Pilani Goa mostra um cliente comum reconstruindo frases exatas de outros participantes…

1 dia ago

Agile Deliberation: Google treina IA em conceitos subjetivos

Framework do Google Research trata a construção de classificadores subjetivos como conversa iterativa: delimita subconceitos…

1 dia ago