MuPPET: o novo benchmark que mede quanto a IA vaza informação em conversas com várias pessoas — e o que isso significa para a LGPD

Resumo: O MuPPET (Multi-Party Privacy Evaluation Testbed) é um novo benchmark do arXiv publicado em junho de 2026 (arXiv:2606.23196) que mede algo que ninguém estava medindo direito: quanto os assistentes de IA vazam informação confidencial em conversas com mais de uma pessoa envolvida. Com 30 páginas, 8 figuras e código aberto, o trabalho de Elena Sofia Ruzzetti, Cornelius Emde, Sangdoo Yun, Seong Joon Oh e Martin Gubri testa LLMs em cenários multipartes — grupos de WhatsApp, threads de Slack, reuniões com cliente e fornecedor — e mostra que mesmo modelos de fronteira escorregam quando precisam decidir com quem compartilhar o quê. O resultado é diretamente relevante para o Brasil, onde a LGPD trata “contexto” como elemento central do consentimento.

O problema que o MuPPET mede

Quase todos os benchmarks de privacidade em LLM tratam o cenário 1-para-1: usuário pergunta, modelo responde. O MuPPET parte de uma realidade mais comum hoje, em que um assistente de IA conversa com várias pessoas com permissões diferentes. Imagine um assistente que ajuda o RH a discutir um aumento com o gestor enquanto o funcionário está no mesmo canal. Ou um agente que atende cliente e fornecedor em uma negociação. Cada parte tem direito a um subconjunto da informação, e o modelo precisa decidir o que dizer, omitir ou redirecionar.

O paper formaliza esse problema como contextual privacy: privacidade derivada de normas sociais sobre quem pode saber o quê, em qual contexto, num conceito inspirado em contextual integrity de Helen Nissenbaum. O benchmark gera diálogos sintéticos controlados, com participantes nomeados, papéis claros (médico, paciente, segurador) e regras de fluxo de informação previamente estabelecidas. O assistente é avaliado em duas dimensões: taxa de vazamento (revelou o que não devia para quem não devia?) e utilidade (completou a tarefa para quem tinha direito?).

O que os números mostram

O paper deve ser lido junto com o MAGPIE (arXiv:2510.15186), um benchmark complementar de 200 tarefas de alto risco que evidenciou taxas alarmantes de vazamento. Em testes recentes do MAGPIE, modelos de ponta como o Gemini 2.5-Pro chegaram a vazar até 50,7% da informação sensível em cenários multi-agente, enquanto o GPT-5 ficou em até 35,1%. Os números do MuPPET, ainda em fase de divulgação completa, seguem a mesma direção: o problema não é exclusivo de um vendor — é estrutural na forma como os LLMs hoje resolvem dilemas de “compartilhar versus reservar”.

Por que erram? Três causas combinadas:

• Falta de memória de papel. O modelo trata os participantes como “todos com mesmo nível”, ignorando hierarquia ou cláusula de confidencialidade.
• Otimização por “ser útil”. O RLHF clássico premia respostas completas; respostas evasivas, mesmo corretas em termos de privacidade, recebem menos sinal positivo.
• Ataques de “spillover”. Uma menção inocente em uma rodada anterior contamina rodadas futuras: o modelo lembra do dado e o reutiliza quando outro participante pergunta.

Por que importa / status no Brasil

A LGPD, especialmente em seus artigos 6º e 7º, exige base legal para tratamento de dados e respeita o princípio da finalidade. Em fluxos de trabalho com IA, isso vira problema concreto: um assistente que repassa para o fornecedor um dado que só deveria circular dentro da empresa configura, na prática, compartilhamento sem base legal. A ANPD vem sinalizando atenção a sistemas automatizados — e cenários multi-agente, com IAs conversando entre si, expandem essa superfície de risco.

Setores brasileiros que dependem de assistentes em grupo — saúde (telemedicina), advocacia (assistente em reuniões de acordo), bancos (chat com cliente e operador interno) — passam a ter um teste claro para exigir dos fornecedores: “qual sua taxa de vazamento em MuPPET ou MAGPIE?”.

Riscos e limitações do benchmark

• Cenários sintéticos. Diálogos gerados não capturam toda a riqueza do português brasileiro, com gírias, indireções e jeitos de “soft refusal” culturais. Avaliações em PT-BR ainda são raras.
• Métrica binária. “Vazou ou não vazou” simplifica casos em que a omissão também é prejudicial (por exemplo, ocultar do paciente uma informação relevante).
• Generalização limitada. Os papers e regras de fluxo são pré-definidos; aplicações reais têm regras ambíguas ou conflitantes.
• Foco em texto. Não cobre vazamentos em outras modalidades (voz, vídeo) — que viraram o normal em 2026.

Indicativo de futuro

O MuPPET deve virar referência para 2026–2027 em três frentes. Primeiro, vai pressionar laboratórios a publicar scores próprios — como aconteceu com SWE-Bench e GPQA. Segundo, vai alimentar regulações: a Comissão Europeia já estuda incluir métricas de “privacy leakage” em padrões setoriais do AI Act. Terceiro, vai inspirar variantes em PT-BR: o Brasil tem grupos competentes em USP, UFMG e Unicamp que podem adaptar a metodologia ao contexto local (relações trabalhistas, atendimento público, telemedicina).

Análise SWOT do MuPPET como instrumento

O que muda para você

Se você compra IA para uso multi-stakeholder — call centers, plataformas jurídicas, telemedicina, RH — peça o número MuPPET (ou MAGPIE) ao fornecedor antes de assinar. Se constrói agentes internos, monte uma versão privada do benchmark com seus próprios cenários: 10 a 20 conversas multi-parte são suficientes para estimar vazamento. E lembre-se: a melhor mitigação ainda é arquitetural — separar conversas por participante e limitar o que cada agente vê, em vez de confiar que o modelo “vai entender o contexto”.

Para questões jurídicas concretas envolvendo LGPD, busque sempre orientação de profissionais qualificados.

Fonte original: MuPPET: A Benchmark for Contextual Privacy of LLM Assistants in Multi-Party Conversations (arXiv).