Agile Deliberation: Google treina IA em conceitos subjetivos

Treinar um classificador de imagens para reconhecer uma placa de pare é simples: a categoria tem fronteiras claras e reconhecidas por todos. Treinar um classificador para reconhecer “comida saudável”, “arte inspiradora” ou conteúdo que viola uma política de moderação é outro problema. Nesses casos, a fronteira da categoria muda com contexto cultural, convicções pessoais e políticas operacionais que se alteram com o tempo — e, pior, quem vai rotular raramente tem a definição completa pronta na cabeça antes de começar.

É esse desencontro que o Agile Deliberation, framework apresentado pelo Google Research em publicação de 4 de novembro de 2026, tenta resolver. A proposta inverte o papel do humano no ciclo de treinamento: em vez de tratá-lo como fornecedor de rótulos estáveis, trata a construção do classificador como uma conversa iterativa, em que o sistema ajuda a pessoa a afinar a própria definição antes de tentar alinhar o modelo a ela.

A publicação no blog é assinada por Otilia Stretcu, pesquisadora, e Leijie Wang, pesquisador estudante, do Google Research. Ela divulga um trabalho mais antigo: o artigo técnico “Agile Deliberation: Concept Deliberation for Subjective Visual Classification” foi depositado no arXiv em 11 de dezembro de 2025, com revisão em 4 de abril de 2026, e tem oito autores — Leijie Wang, Otilia Stretcu, Wei Qiao, Thomas Denby, Krishnamurthy Viswanathan, Enming Luo, Chun-Ta Lu e Tushar Dogra. O código e os algoritmos foram publicados em repositório aberto do Google Research.

De onde veio o método

Segundo o artigo, a prática que o framework automatiza não foi inventada em laboratório: ela foi identificada em entrevistas estruturadas com especialistas em moderação de conteúdo. O que esses profissionais descreveram é um processo que os autores chamam de deliberação conceitual — começar com uma ideia vaga de categoria e descobrir suas fronteiras, exceções e nuances ao encontrar exemplos reais.

O fluxo de treinamento tradicional não acomoda essa evolução. Ele pressupõe o anotador como um oráculo, com o conjunto de regras já definido, e obriga o usuário a fornecer rótulos rígidos mesmo quando o próprio modelo mental ainda está se formando. O Agile Deliberation operacionaliza as estratégias dos moderadores em duas etapas estruturadas.

Etapa 1: delimitar o conceito

Na fase de concept scoping, o sistema conduz o usuário a decompor o conceito amplo em uma hierarquia estruturada de subconceitos positivos e exclusões explícitas. No exemplo de “comida saudável”, as subcategorias positivas poderiam ser “saladas”, “bowls de grãos” e “proteínas magras”; as exclusões, “alimentos processados” ou “ingredientes crus e não preparados”.

A distinção entre o que está dentro do escopo e o que está deliberadamente fora é parte do produto final: o classificador recebe tanto os exemplos positivos que deve sinalizar quanto as fronteiras negativas — os “falsos alarmes” que o usuário não quer ver marcados.

Etapa 2: iterar nas bordas

A segunda fase, concept iteration, é onde o sistema deixa de planejar e começa a provocar. O método se inspira em active learning, técnica tradicionalmente usada para selecionar os dados mais informativos e maximizar a eficiência do treinamento. A diferença é o critério de seleção: em vez de buscar exemplos que minimizem a incerteza da máquina, o Agile Deliberation usa modelos de visão e linguagem (VLMs) para garimpar e apresentar imagens semanticamente limítrofes, que desafiem a definição textual vigente.

O exemplo citado é um smoothie de frutas confrontando o conceito de “dieta saudável”: é uma bebida saudável porque contém fruta crua, ou um alimento processado excluído por causa do açúcar? Ao ser obrigado a decidir, o usuário revê suposições que não havia explicitado e atualiza a regra. Esse retorno entra em um laço automático de otimização de prompt, que desloca as fronteiras de classificação do VLM junto com a definição refinada.

Avaliação com pessoas, não com benchmark

Aqui está o ponto metodológico mais interessante — e também a razão pela qual os números devem ser lidos com cuidado. Como não existe verdade objetiva estática para conceitos subjetivos, avaliar em conjuntos pré-rotulados não mediria o que importa: a adaptação do sistema enquanto o modelo mental da pessoa muda durante o processo.

Os autores então construíram um protótipo funcional e o testaram em 18 sessões ao vivo, de 1,5 hora cada, nas quais os participantes usaram o sistema e as alternativas em ordem aleatória, para evitar viés de aprendizado. Dois domínios foram escolhidos pela dificuldade:

  • Comida saudável: domínio em que filosofias de saúde, restrições alimentares e origem cultural produzem pontos de vista bastante diversos.
  • Pay-to-Play: um problema real de moderação de conteúdo, que exige nuance de especialista — identificar imagens de isca em entretenimento e jogos on-line que prometem recompensas financeiras ou digitais enganosas.

As comparações foram feitas contra três paradigmas: classificadores zero-shot, em que o usuário escreve um prompt inicial e não tem como ver casos de borda nem corrigir a fronteira; decomposição automatizada, representada pelo Modeling Collaborator, abordagem anterior do Google (Toubal e colegas, CVPR 2024) em que um agente decompõe o conceito sozinho e deixa o usuário fora do laço; e deliberação manual, o estado atual da prática, com planilhas, tentativa e erro em consultas de busca e reescrita de prompts à mão.

Resultados

Os números principais estão no artigo técnico. O Agile Deliberation alcançou F1 7,5% superior às linhas de base de decomposição automatizada e mais de 3% superior à deliberação manual. Os participantes também relataram entendimento conceitual mais claro e esforço cognitivo menor.

A publicação do blog detalha os efeitos observados em três frentes. Participantes que passaram pelo processo estruturado mostraram consistência de rotulagem significativamente maior ao longo do tempo, e os ganhos de desempenho foram mais acentuados nas imagens subjetivas mais difíceis — justamente onde classificadores convencionais falham, por recorrerem a suposições genéricas do modelo em vez da intenção explícita do usuário. Especialistas descreveram o sistema como ferramenta de diagnóstico: ao receber imagens confusas de propósito, identificaram pontos cegos nas próprias definições iniciais.

O terceiro efeito é sobre carga de trabalho. O estudo registra fadiga cognitiva pronunciada quando os usuários tentavam adivinhar termos de busca capazes de revelar casos de borda na deliberação manual, somada a uma ansiedade persistente de que ajustar o prompt para corrigir um erro degradasse partes do classificador já acertadas. Com o Agile Deliberation, os participantes relataram reduções estatisticamente significativas de esforço e estresse, menor demanda mental e maior percepção de sucesso e facilidade de uso. Segundo o texto, todos os participantes preferiram o framework aos métodos manuais. A publicação também afirma que a deliberação manual, em várias ocasiões, não melhorou ou até degradou a acurácia do classificador.

Limitações e o que os números não dizem

A transparência metodológica é um mérito do trabalho, mas impõe restrições à leitura dos resultados. Com 18 sessões, a amostra é pequena para generalizações sobre populações de anotadores, e o próprio desenho — estudo com usuários em vez de benchmark — torna a replicação independente mais custosa. Ganhos de 7,5% e de pouco mais de 3% em F1 são relevantes, mas foram medidos em dois domínios específicos; nada garante que se mantenham em categorias com carga normativa maior, como discurso de ódio ou conteúdo médico.

Há também uma dependência que o método não elimina: o laço de iteração usa VLMs para encontrar imagens limítrofes, de modo que o espaço de casos de borda apresentado ao usuário é delimitado pelo que esses modelos consideram semanticamente próximo. Pontos cegos compartilhados entre o VLM que garimpa e o VLM que classifica podem permanecer invisíveis ao longo de todo o processo.

Por fim, vale separar o que é resultado de pesquisa do que é promessa. O trabalho demonstra melhoria de alinhamento e de experiência em condições de laboratório com participantes recrutados. Não há, na divulgação, dados sobre uso em produção, custo computacional em escala, nem avaliação de como o classificador resultante se comporta diante de mudança de política ao longo de meses — cenário comum em moderação de conteúdo.

Para quem isso é útil na prática

  • Equipes de confiança e segurança que precisam transformar uma política escrita em classificador operacional, e que hoje gastam tempo em rodadas de engenharia de prompt sem registro das decisões de fronteira.
  • Curadores de acervos digitais e times de catalogação que lidam com categorias estéticas ou editoriais, sem verdade objetiva disponível.
  • Projetos científicos de classificação visual em que especialistas discordam entre si e a documentação das exclusões vale tanto quanto a dos exemplos positivos.
  • Quem quiser avaliar o método antes de adotá-lo: o repositório aberto do Google Research traz a implementação, e há um caderno interativo em Colab/Jupyter que percorre o exemplo de “comida saudável”.

Conclusão

O Agile Deliberation move o aprendizado com humanos no laço de uma via de mão única — o modelo aprende dos rótulos — para uma colaboração em que a definição do conceito também é construída durante o processo. É uma contribuição de método, não de arquitetura: nenhum modelo novo é proposto, e o ganho vem de reorganizar quando e como a ambiguidade humana é resolvida.

Dois pontos merecem acompanhamento. O primeiro é se avaliações independentes, com amostras maiores e domínios de maior carga normativa, confirmam os ganhos relatados. O segundo é mais prático: como esse tipo de framework se encaixa em organizações que precisam auditar decisões de classificação. A hierarquia de subconceitos e exclusões produzida durante a deliberação é, em si, um artefato documental — e isso pode acabar sendo tão valioso quanto os pontos de F1.

Fontes e referências

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Google mede contextualidade quântica em até 105 qubits no Willow

Publicado na Science, o experimento ganha o jogo do quadrado mágico em 98,30% das rodadas,…

9 horas ago

BlockJack desvia o cache KV do vLLM entre inquilinos diferentes

Preprint de seis universidades mostra que corromper um único registro da tabela de blocos faz…

9 horas ago

SCKit abusa do ScreenConnect para atacar sessões de técnicos

A Microsoft confirmou a campanha relatada pela ConnectWise e detalhou um kit que inverte o…

9 horas ago

F5 libera hotfixes de emergência para cinco falhas críticas no BIG-IP

Os avisos publicados em 18 de novembro atribuem CVSS 4.0 de 9,3 a cinco estouros…

9 horas ago

Ataque recupera texto exato no aprendizado federado

Preprint do BITS Pilani Goa mostra um cliente comum reconstruindo frases exatas de outros participantes…

1 dia ago

Detecção de anomalias com LLM reforça classificador de malware

A equipe de IA da Sophos transformou a detecção de anomalias em pré-filtro: algoritmos clássicos…

1 dia ago