MuPPET: o novo benchmark que mede quanto a IA vaza informação em conversas com várias pessoas — e o que isso significa para a LGPD

Resumo: O MuPPET (Multi-Party Privacy Evaluation Testbed) é um novo benchmark do arXiv publicado em junho de 2026 (arXiv:2606.23196) que mede algo que ninguém estava medindo direito: quanto os assistentes de IA vazam informação confidencial em conversas com mais de uma pessoa envolvida. Com 30 páginas, 8 figuras e código aberto, o trabalho de Elena Sofia Ruzzetti, Cornelius Emde, Sangdoo Yun, Seong Joon Oh e Martin Gubri testa LLMs em cenários multipartes — grupos de WhatsApp, threads de Slack, reuniões com cliente e fornecedor — e mostra que mesmo modelos de fronteira escorregam quando precisam decidir com quem compartilhar o quê. O resultado é diretamente relevante para o Brasil, onde a LGPD trata “contexto” como elemento central do consentimento.

O problema que o MuPPET mede

Quase todos os benchmarks de privacidade em LLM tratam o cenário 1-para-1: usuário pergunta, modelo responde. O MuPPET parte de uma realidade mais comum hoje, em que um assistente de IA conversa com várias pessoas com permissões diferentes. Imagine um assistente que ajuda o RH a discutir um aumento com o gestor enquanto o funcionário está no mesmo canal. Ou um agente que atende cliente e fornecedor em uma negociação. Cada parte tem direito a um subconjunto da informação, e o modelo precisa decidir o que dizer, omitir ou redirecionar.

O paper formaliza esse problema como contextual privacy: privacidade derivada de normas sociais sobre quem pode saber o quê, em qual contexto, num conceito inspirado em contextual integrity de Helen Nissenbaum. O benchmark gera diálogos sintéticos controlados, com participantes nomeados, papéis claros (médico, paciente, segurador) e regras de fluxo de informação previamente estabelecidas. O assistente é avaliado em duas dimensões: taxa de vazamento (revelou o que não devia para quem não devia?) e utilidade (completou a tarefa para quem tinha direito?).

O que os números mostram

O paper deve ser lido junto com o MAGPIE (arXiv:2510.15186), um benchmark complementar de 200 tarefas de alto risco que evidenciou taxas alarmantes de vazamento. Em testes recentes do MAGPIE, modelos de ponta como o Gemini 2.5-Pro chegaram a vazar até 50,7% da informação sensível em cenários multi-agente, enquanto o GPT-5 ficou em até 35,1%. Os números do MuPPET, ainda em fase de divulgação completa, seguem a mesma direção: o problema não é exclusivo de um vendor — é estrutural na forma como os LLMs hoje resolvem dilemas de “compartilhar versus reservar”.

Por que erram? Três causas combinadas:

  • Falta de memória de papel. O modelo trata os participantes como “todos com mesmo nível”, ignorando hierarquia ou cláusula de confidencialidade.
  • Otimização por “ser útil”. O RLHF clássico premia respostas completas; respostas evasivas, mesmo corretas em termos de privacidade, recebem menos sinal positivo.
  • Ataques de “spillover”. Uma menção inocente em uma rodada anterior contamina rodadas futuras: o modelo lembra do dado e o reutiliza quando outro participante pergunta.

Por que importa / status no Brasil

A LGPD, especialmente em seus artigos 6º e 7º, exige base legal para tratamento de dados e respeita o princípio da finalidade. Em fluxos de trabalho com IA, isso vira problema concreto: um assistente que repassa para o fornecedor um dado que só deveria circular dentro da empresa configura, na prática, compartilhamento sem base legal. A ANPD vem sinalizando atenção a sistemas automatizados — e cenários multi-agente, com IAs conversando entre si, expandem essa superfície de risco.

Setores brasileiros que dependem de assistentes em grupo — saúde (telemedicina), advocacia (assistente em reuniões de acordo), bancos (chat com cliente e operador interno) — passam a ter um teste claro para exigir dos fornecedores: “qual sua taxa de vazamento em MuPPET ou MAGPIE?”.

Riscos e limitações do benchmark

  • Cenários sintéticos. Diálogos gerados não capturam toda a riqueza do português brasileiro, com gírias, indireções e jeitos de “soft refusal” culturais. Avaliações em PT-BR ainda são raras.
  • Métrica binária. “Vazou ou não vazou” simplifica casos em que a omissão também é prejudicial (por exemplo, ocultar do paciente uma informação relevante).
  • Generalização limitada. Os papers e regras de fluxo são pré-definidos; aplicações reais têm regras ambíguas ou conflitantes.
  • Foco em texto. Não cobre vazamentos em outras modalidades (voz, vídeo) — que viraram o normal em 2026.

Indicativo de futuro

O MuPPET deve virar referência para 2026–2027 em três frentes. Primeiro, vai pressionar laboratórios a publicar scores próprios — como aconteceu com SWE-Bench e GPQA. Segundo, vai alimentar regulações: a Comissão Europeia já estuda incluir métricas de “privacy leakage” em padrões setoriais do AI Act. Terceiro, vai inspirar variantes em PT-BR: o Brasil tem grupos competentes em USP, UFMG e Unicamp que podem adaptar a metodologia ao contexto local (relações trabalhistas, atendimento público, telemedicina).

Análise SWOT do MuPPET como instrumento

Forças
  • Mede o cenário multi-parte, ignorado por outros benchmarks.
  • Código e dados abertos no arXiv.
  • Base teórica sólida (contextual integrity).
Fraquezas
  • Diálogos sintéticos podem subestimar erros do mundo real.
  • Foco em inglês; cobertura em PT-BR é nula no momento.
  • Métrica binária não cobre nuances éticas.
Oportunidades
  • Padrão de compra para empresas reguladas (saúde, jurídico).
  • Métrica oficial em normas da ANPD e do AI Act.
  • Variante brasileira liderada por universidades.
Ameaças
  • Modelos podem fazer overfitting do benchmark sem ganhar privacidade real.
  • Concorrência com MAGPIE pode fragmentar a referência.
  • Adoção lenta em vendors fechados (sem incentivo a expor número ruim).

O que muda para você

Se você compra IA para uso multi-stakeholder — call centers, plataformas jurídicas, telemedicina, RH — peça o número MuPPET (ou MAGPIE) ao fornecedor antes de assinar. Se constrói agentes internos, monte uma versão privada do benchmark com seus próprios cenários: 10 a 20 conversas multi-parte são suficientes para estimar vazamento. E lembre-se: a melhor mitigação ainda é arquitetural — separar conversas por participante e limitar o que cada agente vê, em vez de confiar que o modelo “vai entender o contexto”.

Para questões jurídicas concretas envolvendo LGPD, busque sempre orientação de profissionais qualificados.

Fonte original: MuPPET: A Benchmark for Contextual Privacy of LLM Assistants in Multi-Party Conversations (arXiv).

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Google mede contextualidade quântica em até 105 qubits no Willow

Publicado na Science, o experimento ganha o jogo do quadrado mágico em 98,30% das rodadas,…

10 horas ago

BlockJack desvia o cache KV do vLLM entre inquilinos diferentes

Preprint de seis universidades mostra que corromper um único registro da tabela de blocos faz…

10 horas ago

SCKit abusa do ScreenConnect para atacar sessões de técnicos

A Microsoft confirmou a campanha relatada pela ConnectWise e detalhou um kit que inverte o…

10 horas ago

F5 libera hotfixes de emergência para cinco falhas críticas no BIG-IP

Os avisos publicados em 18 de novembro atribuem CVSS 4.0 de 9,3 a cinco estouros…

10 horas ago

Ataque recupera texto exato no aprendizado federado

Preprint do BITS Pilani Goa mostra um cliente comum reconstruindo frases exatas de outros participantes…

1 dia ago

Agile Deliberation: Google treina IA em conceitos subjetivos

Framework do Google Research trata a construção de classificadores subjetivos como conversa iterativa: delimita subconceitos…

1 dia ago