Ataque recupera texto exato no aprendizado federado

O aprendizado federado é vendido como a resposta técnica para treinar modelos com dados sensíveis sem centralizá-los: cada participante ajusta o modelo localmente e envia apenas os gradientes, que são somados por um agregador. A premissa é que a soma embaralha as contribuições individuais o suficiente para que ninguém reconstrua o que estava no dado de outro participante. Um artigo depositado no arXiv em 18 de novembro de 2026 mostra que, em um cenário concreto, essa premissa não se sustenta.

O trabalho “Stealing Exact Training Data from Other Clients during Federated Learning” (arXiv:2611.24689v1) é assinado por Omkar Shrikanth, Soham Dambalkar e Parag Jyoti Pal, com contribuição igual, além de Advik Raj Basani e Arnab K. Paul, do Birla Institute of Technology and Science em Goa, na Índia — Basani também vinculado ao MATS Research. É um preprint de 22 páginas, classificado em aprendizado de máquina, criptografia e segurança, e computação distribuída.

O resultado central: pela primeira vez, os autores demonstram recuperação exata de frases de treinamento de outros participantes, com 100% de precisão, a partir de gradientes agregados — e fazem isso na posição de um cliente comum, não do servidor. Em agregados contendo até quatro vezes mais tokens do que a dimensão oculta do modelo, recuperaram até 80,2% das frases dos outros clientes de forma exata, em um regime no qual os ataques existentes não recuperam nenhuma frase completa.

Por que inversão de gradiente é um problema antigo com um limite conhecido

A ideia de que gradientes não revelam dados privados já havia sido desmentida, sobretudo em visão computacional. O ataque DLG, de Zhu e colegas em 2019, mostrou que basta inicializar valores aleatórios e otimizá-los para casar com os gradientes observados; melhorias vieram com a identificação analítica do rótulo (Zhao e colegas, 2020) e com funções de casamento melhores (Geiping e colegas, 2020). Imagens são um alvo relativamente fácil porque vivem em espaço contínuo.

Texto é mais difícil: o espaço de tokens é grande, a informação sensível se concentra em poucos tokens e a tolerância a erro por palavra é baixa — um pixel aproximado passa, uma palavra errada não. Surgiu então uma linha específica de recuperação de texto: TAG (2021) adaptou a otimização com regularização que prioriza camadas próximas da entrada; FILM (2022) recuperou primeiro um saco de palavras e depois reconstruiu frases com busca em feixe guiada por modelo de linguagem; LAMP (2022) e GRAB (2024) alternaram otimização contínua e discreta.

O método mais forte até aqui era o DAGER (Petrov e colegas, NeurIPS 2024), que explora a natureza de baixo rank dos gradientes de autoatenção para verificar se o embedding de um token candidato está no espaço gerado pelos gradientes da primeira camada. O problema é estrutural: como o rank do gradiente é limitado pelo número de tokens, o teste deixa de discriminar quando esse número alcança a dimensão oculta d do modelo. Esse é o chamado “muro”.

E o muro é exatamente onde o aprendizado federado real opera. Sob FedAvg (McMahan e colegas, 2017), com participação até modesta, o número de tokens no agregado de vários clientes supera d com folga. Além disso, os ataques anteriores pressupõem um servidor honesto-mas-curioso, que observa o gradiente individual de cada cliente — não é o que um cliente vê.

A ideia: descascar o agregado

A contribuição dos autores é um laço iterativo. A intuição é que, se algumas frases forem recuperadas com certeza, a contribuição de gradiente delas pode ser subtraída do agregado, deixando um sinal mais limpo para as frases restantes — que então se tornam recuperáveis na iteração seguinte. O pipeline tem cinco etapas:

  • Resíduo: a partir do gradiente agregado, isola-se a parte atribuível aos demais clientes, descontando a contribuição do próprio adversário.
  • Saco de tokens: identifica-se quais tokens aparecem no material alvo.
  • Geração: uma busca em feixe guiada por gradiente monta frases candidatas, pontuadas por uma combinação de similaridade de cosseno com fluência de modelo de linguagem. A fluência entra com peso pequeno, mas é necessária porque o termo de cosseno é apenas um sinal estatístico de token e às vezes pontua continuações erradas tão bem quanto as corretas.
  • Verificação: para cada candidato, os autores calculam duas quantidades por token — a soma dos gradientes em relação ao embedding de entrada e em relação à saída do primeiro bloco do transformador — e checam se ambas casam com o resíduo sob um mesmo fator de escala, estimado por mínimos quadrados. Um candidato só é aceito quando pelo menos três desses “âncoras” sobrevivem, as escalas são próximas entre si e uma delas fica perto do fim da frase, o que garante que o candidato é uma frase completa e não o prefixo de outra.
  • Descascamento: as contribuições das frases verificadas são subtraídas do resíduo, com o fator de escala obtido na verificação, e linhas de embedding com sobra desprezível são zeradas para que o token não volte a servir de semente. O laço recomeça e só para quando nenhuma frase nova é verificada.

A terceira condição da verificação — exigir uma âncora próxima do fim — é o que os autores apontam como a diferença em relação a trabalhos anteriores, que não conseguiam reproduzir uma frase inteira com sucesso.

O que os testes mostraram

A avaliação usou três modelos de arquitetura paralela de resíduo: Pythia-160M (d = 768), Pythia-410M (d = 1024) e GPT-J-6B (d = 4096). Os dados privados simulados vieram de três conjuntos de domínios distintos: resenhas de cinema do SST-2, corpos de e-mail do Enron e texto biomédico do PubMed. As configurações variam número de clientes, tamanho do lote por cliente e comprimento de sequência, cobrindo de 256 a 65.536 tokens no agregado — ou seja, tanto abaixo quanto bem acima do muro.

As métricas reportadas são recuperação exata de frase no nível de token, mais BLEU-2 e ROUGE-2 para capturar reconstruções parcialmente corretas.

Medida Resultado relatado
Precisão das frases recuperadas 100%
Recuperação exata com agregado de até 4× a dimensão oculta até 80,2% das frases dos clientes
Ataques anteriores (DAGER, FILM, SOMP) acima do muro nenhuma frase exata
Ganho do descascamento iterativo 1,96× (de 51 para 100 frases)

Os estudos de ablação ajudam a entender de onde vem o resultado. Em uma configuração de referência, remover a similaridade de cosseno derruba a recuperação exata de 100 frases para zero; remover a fluência de modelo de linguagem a reduz para 48. O descascamento, por sua vez, quase dobra o total: a passagem inicial recupera 51 frases e sete passagens produtivas adicionais somam outras 49.

Defesas: ruído funcionou, clipping não

Esta é a parte com valor defensivo imediato, e os números são claros. Na configuração testada — Pythia-160M com SST-2, quatro clientes, lote de 32 e sequência de 16 —, a recuperação exata partia de 100 de 128 frases, ou 78,1%.

  • Perturbação com ruído gaussiano no gradiente compartilhado, inspirada em privacidade diferencial, levou a recuperação exata a zero em todos os níveis de ruído não nulo testados, de desvio padrão 10−4 até 0,03.
  • Recorte de gradiente (gradient clipping), defesa popular, não teve efeito: a recuperação permaneceu em 100 de 128.
  • Variação de configuração local também não protegeu. A recuperação ficou inalterada em 20 configurações de FedAvg, com número de passos locais de 1 a 16 e taxas de aprendizado de 0,001 a 0,1.

A leitura prática é direta: reescalar o agregado e mexer nos parâmetros de treinamento local não impede a recuperação. O que impediu, nos testes, foi adicionar ruído — mecanismo que tem custo conhecido em utilidade do modelo, equilíbrio que o artigo não explora em profundidade.

Alcance, limitações e o que isso significa

A limitação principal é declarada pelos próprios autores: o ataque é plenamente eficaz na classe de arquiteturas com resíduo paralelo. Uma variante reduzida também recupera texto de modelos com resíduo sequencial, mas com precisão menor, e estender o pipeline completo a um conjunto mais amplo de arquiteturas fica como trabalho futuro. Os autores afirmam divulgar o framework para fins de conscientização e reconhecem que ele pode servir de base para ataques que explorem propriedades de outras arquiteturas.

Outras ressalvas importam para dimensionar o risco. Trata-se de um preprint, ainda sem revisão por pares concluída. Os modelos avaliados são pequenos ou médios por padrões atuais, e o maior deles, o GPT-J-6B, não está no mesmo patamar dos modelos usados em ajuste fino corporativo de ponta. Os conjuntos de dados são públicos e usados como proxy de dados sensíveis, não dados reais de pacientes ou clientes. E o cenário é de ajuste fino completo sob FedAvg; o artigo não demonstra o mesmo resultado em ajuste fino por adaptadores de baixo rank, prática hoje muito comum e que compartilha um volume bem menor de parâmetros.

Também vale registrar o que o trabalho não contradiz. Esquemas de agregação segura com garantias criptográficas e implementações com privacidade diferencial calibrada são mecanismos distintos da agregação simples do FedAvg, e não estão entre as defesas avaliadas. O alvo do artigo é a crença, bastante difundida, de que somar gradientes de vários participantes já basta.

Recomendações

  • Não trate a agregação de gradientes como garantia de privacidade. Documente explicitamente qual mecanismo protege os dados no seu desenho — e, se a resposta for “a soma”, revise o projeto.
  • Avalie privacidade diferencial com orçamento declarado no treinamento federado, medindo a perda de utilidade. Nos testes do artigo, ruído foi a única defesa que zerou a recuperação exata.
  • Não conte com recorte de gradiente como proteção contra inversão: na avaliação publicada, ele não reduziu a recuperação.
  • Considere agregação segura com garantias criptográficas, de forma que nenhum participante observe o agregado em claro.
  • Reveja o modelo de ameaça para incluir participantes do consórcio, e não apenas o agregador. O adversário deste artigo é um cliente honesto-mas-curioso — alguém que segue o protocolo.
  • Reduza a exposição por rodada: minimize o conjunto de parâmetros compartilhados, prefira estratégias que não exijam gradiente completo de ajuste fino e limite quantas rodadas cada participante observa.
  • Em consórcios com dados regulados, trate os termos contratuais como parte do controle: quem participa, o que pode reter e quais auditorias são permitidas.

Conclusão

O artigo não descreve uma falha de implementação a ser corrigida com uma atualização. Descreve uma consequência do desenho: manter os dados locais e compartilhar apenas gradientes somados ainda permite que um participante reconstrua texto exato de outro, acima do limite que travava os ataques anteriores. A frase dos autores resume o recado — a agregação, por si só, não deve ser tratada como garantia de privacidade no aprendizado federado.

O que observar a seguir são três coisas: se o resultado passa pela revisão por pares e é reproduzido de forma independente; se o método se estende a arquiteturas com resíduo sequencial e a esquemas de ajuste fino por adaptadores, que hoje dominam a prática; e se os consórcios de aprendizado federado em saúde e finanças vão publicar qual mecanismo de privacidade usam, em vez de apontar genericamente para o fato de que os dados nunca saem da instituição.

Fontes e referências

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Google mede contextualidade quântica em até 105 qubits no Willow

Publicado na Science, o experimento ganha o jogo do quadrado mágico em 98,30% das rodadas,…

9 horas ago

BlockJack desvia o cache KV do vLLM entre inquilinos diferentes

Preprint de seis universidades mostra que corromper um único registro da tabela de blocos faz…

9 horas ago

SCKit abusa do ScreenConnect para atacar sessões de técnicos

A Microsoft confirmou a campanha relatada pela ConnectWise e detalhou um kit que inverte o…

9 horas ago

F5 libera hotfixes de emergência para cinco falhas críticas no BIG-IP

Os avisos publicados em 18 de novembro atribuem CVSS 4.0 de 9,3 a cinco estouros…

9 horas ago

Agile Deliberation: Google treina IA em conceitos subjetivos

Framework do Google Research trata a construção de classificadores subjetivos como conversa iterativa: delimita subconceitos…

1 dia ago

Detecção de anomalias com LLM reforça classificador de malware

A equipe de IA da Sophos transformou a detecção de anomalias em pré-filtro: algoritmos clássicos…

1 dia ago