Detecção de anomalias com LLM reforça classificador de malware

A equipe de IA da Sophos transformou a detecção de anomalias em pré-filtro: algoritmos clássicos garimpam arquivos raros na telemetria, dois prompts de LLM os rotulam por concordância e os rótulos alimentam o classificador supervisionado.

Ilustração abstrata de nuvem de pontos com alguns pontos isolados destacados fora do agrupamento central, representando detecção de anomalias

Todo classificador supervisionado de malware herda os limites do próprio conjunto de treinamento. O lado benigno costuma ser montado a partir de fontes conhecidas e de baixo risco; o lado malicioso cobre os tipos de ataque que já apareceram em investigações passadas. O resultado é previsível: falsos positivos que afogam o centro de operações de segurança e falsos negativos que deixam passar o que nunca foi visto.

Uma pesquisa publicada pela equipe de IA da Sophos em 11 de novembro de 2026, assinada por Ben Gelman, Tamás Nyiri e Tibor Kristóf Lányi, propõe uma saída que não passa por rotular mais dados à mão. A ideia é usar detecção de anomalias não como mecanismo de alerta, e sim como pré-filtro que garimpa arquivos incomuns na telemetria de produção; um modelo de linguagem grande (LLM) rotula esses candidatos; e os rótulos entram na próxima rodada de treinamento do classificador supervisionado.

A inversão é o ponto central. Em trabalhos anteriores sobre anomalias em linha de comando — a Sophos cita SCADE, o trabalho de Filar e French e o de Nisslmueller —, a detecção de anomalias era usada diretamente para gerar alertas, com taxas de falso positivo em torno de 2% a 3%. Em escalas de dezenas de milhões de eventos diários, esse percentual continua representando um volume de alertas inviável. Usada como pré-filtro, a mesma técnica não precisa acertar o que é malicioso: basta encontrar o que é estranho.

Por que a cauda longa importa

O argumento técnico é que os erros do classificador refletem, antes de tudo, falta de diversidade nos dados de treino. Conjuntos benignos privilegiam comportamentos comuns e simples, o que faz o modelo tratar como suspeito qualquer arquivo ou comando legítimo que seja raro e complexo. É a cauda longa do tráfego normal — exatamente a região onde os analistas perdem tempo.

Esse diagnóstico vem de uma pesquisa anterior da mesma equipe, apresentada na Black Hat USA 2025 por Ben Gelman e Sean Bergeron, que trabalhou com linhas de comando. Lá, o pipeline tratava cerca de 50 milhões de linhas de comando únicas por dia na versão em escala plena, com uma amostra de 4 milhões por dia na versão reduzida, e usava o modelo o3-mini da OpenAI para rotular as anomalias. Os ganhos foram grandes justamente porque a base de partida era ruim: em um conjunto de avaliação rotulado por especialistas, a AUC do classificador agregado subiu de 0,6138 para 0,8935 com a ampliação em escala plena, enquanto a linha de base por expressões regulares foi de 0,7072 para 0,7689. Em teste com separação temporal, onde os valores já eram altos, o movimento foi marginal: de 0,9979 para 0,9990.

O trabalho de novembro de 2026 estende o método para além da linha de comando e testa se ele resiste a escalas muito diferentes de ingestão.

Como o pipeline é montado

O fluxo descrito tem cinco etapas: telemetria bruta, extração de características, detecção de anomalias por múltiplos métodos, classificação pelo LLM e, finalmente, incorporação dos novos rótulos ao treinamento do classificador supervisionado.

Na detecção de anomalias, a equipe não escolheu um algoritmo. Usou três — isolation forest, detecção por k-means e erro de reconstrução de PCA — porque cada um tem pontos cegos diferentes e a sobreposição entre eles é baixa. Esses três algoritmos rodam sobre três representações distintas dos mesmos arquivos:

  • Características construídas à mão: comprimento, entropia de Shannon, distribuição de caracteres, proporção de operadores e de caixa alta/baixa, marcadores de tipo de arquivo.
  • Vetores TF-IDF: para capturar discrepâncias no nível do conteúdo.
  • Vetores binários de vocabulário: para expor coocorrências atípicas de tokens.

A etapa de rotulagem é onde está o truque menos óbvio. Um único prompt tem dificuldade de manter precisão alta nos dois rótulos ao mesmo tempo, sobretudo em material ambíguo como scripts de uso duplo. A solução foi usar dois prompts por tipo de arquivo: um que tende ao malicioso, cujos rótulos benignos saem com precisão alta, e um que tende ao benigno, cujos rótulos maliciosos saem com precisão alta. Um rótulo só é aceito quando os dois prompts concordam; nos demais casos, o exemplo é descartado.

Cada prompt é calibrado para a superfície de ataque do formato. Em HTML, por exemplo, o prompt de viés malicioso descreve o que é normal na web — JavaScript, formulários, analytics —, e o de viés benigno lista indicadores como payloads ofuscados, phishing de credenciais e estruturas típicas de kits de exploração.

Três formatos, quatro ordens de magnitude

Os formatos escolhidos cobrem escalas de ingestão muito distintas, o que é parte do teste: linhas de comando, cerca de 10 milhões por mês; HTML, cerca de 1 milhão por mês; e RTF, cerca de 10 mil por mês, usado deliberadamente como cenário de escassez de dados. Segundo o texto, os três tipos abrangem quatro ordens de magnitude de volume.

Os resultados em HTML partem de uma AUC ROC agrupada de 0,970475:

Método (HTML) Anomalias adicionadas AUC ROC agrupada Variação
Isolation forest 489 0,976788 +0,65%
K-means 716 0,977091 +0,68%
PCA 775 0,967399 −0,32%
Todos combinados 1.980 0,975420 +0,51%

Em RTF, partindo de uma AUC ROC de 0,9602:

Método (RTF) Anomalias adicionadas AUC ROC Variação
Isolation forest 66 0,9833 +2,41%
PCA 63 0,9813 +2,20%
K-means 90 0,9812 +2,19%
Todos combinados 219 0,9819 +2,26%

Dois detalhes são mais informativos do que os ganhos em si. O primeiro é que o melhor método muda conforme o formato: isolation forest venceu em RTF, k-means venceu em HTML. O segundo é que o PCA piorou o resultado em HTML — e os autores usam isso como justificativa para rodar vários métodos, já que não é possível saber de antemão qual vai render. Em HTML, os ganhos foram menores porque a linha de base já era alta; em RTF, o salto aconteceu a partir de pouco mais de 200 exemplos novos.

Sobre custo, o texto afirma que os algoritmos de detecção de anomalias são relativamente baratos de executar, de modo que a despesa adicional relevante é a avaliação das anomalias pelo LLM. O pipeline roda em uma única máquina, e adaptá-lo a um novo tipo de dado exige sobretudo um arquivo de configuração.

O que o método entrega e onde ele para

O ganho prático é operacional: equipes que mantêm classificadores próprios passam a ter uma rota automatizada para preencher a cauda longa dos dados de treino, sem depender de rotulagem manual em volume nem de incidentes passados para descobrir o que é normal e raro. A estratégia de dois prompts torna aproveitáveis tanto rótulos benignos quanto maliciosos, o que a pesquisa anterior, focada em ampliar apenas o lado benigno, não fazia.

As limitações precisam ser ditas com clareza, porque o texto da Sophos não traz uma seção dedicada a elas. A aplicabilidade a um novo formato depende de o LLM conseguir produzir rótulos de precisão alta para aquele formato, o que é uma hipótese a ser testada empiricamente antes de qualquer promessa. Os ganhos medidos são modestos em termos absolutos e, em um dos casos, negativos. Nenhuma das medições foi acompanhada de intervalo de confiança ou de repetições publicadas, o que impede avaliar quanto do movimento em HTML — centésimos de ponto de AUC — está acima do ruído. E o conjunto RTF, com cerca de 10 mil amostras mensais, é pequeno o bastante para que a variação de 2,41% dependa de poucos exemplos.

Há ainda um risco estrutural que vale registrar: ao usar um LLM para gerar rótulos que alimentam o classificador, os vieses e erros do modelo de linguagem passam a ser incorporados aos dados de treino. A exigência de concordância entre dois prompts reduz esse problema, mas não o elimina, e os autores recomendam validar a qualidade dos rótulos contra dados já rotulados ou com revisão de analista.

Como reproduzir a abordagem

  • Escolha um tipo de arquivo em que seu classificador tenha problema reconhecido de falso positivo ou falso negativo.
  • Amostre dados de produção não rotulados, extraia características e rode um isolation forest como primeiro método.
  • Envie as principais anomalias a um LLM usando dois prompts específicos do formato, um pendendo ao malicioso e outro ao benigno, e aceite apenas os casos em que ambos concordam.
  • Valide a qualidade dos rótulos contra dados rotulados ou revisão de especialista antes de confiar neles.
  • Inclua os rótulos de precisão alta no próximo treinamento e meça a diferença com a mesma métrica e o mesmo conjunto de avaliação.
  • Só então automatize: empacote o processo em configuração e coloque em execução periódica.

Conclusão

O trabalho não apresenta um detector novo nem promete reduzir alertas de imediato. O que ele oferece é uma reorganização de peças conhecidas: algoritmos clássicos de detecção de anomalias deixam de ser julgados pela precisão dos próprios alertas e passam a ser medidos pela capacidade de encontrar material raro que valha rotular. É uma mudança de função que, segundo os autores, serve para revitalizar linhas tradicionais de aprendizado de máquina com apoio de LLMs — melhorando o processo de treinamento, não substituindo o modelo.

Para quem acompanha o tema, o que vale observar a seguir é se os ganhos se sustentam em avaliações independentes, com repetições e medidas de dispersão, e se o método se mostra útil em formatos onde a rotulagem automática é mais difícil — binários empacotados, documentos de escritório com macros, tráfego criptografado. Até lá, o resultado mais sólido da pesquisa continua sendo o caso de escassez: em RTF, pouco mais de 200 exemplos bem escolhidos moveram a AUC mais do que quase 2 mil exemplos em HTML.

Fontes e referências

PLUGGED NINJA
Informações de privacidade

Este site usa cookies para que possamos oferecer a melhor experiência de usuário possível. As informações dos cookies são armazenadas em seu navegador e executam funções como reconhecê-lo quando você retorna ao nosso site e ajudar nossa equipe a entender quais seções do site você considera mais interessantes e úteis.