HalluSquatting: pesquisadores transformam alucinacoes de LLMs em vetor de infeccao para botnets agentic

Pesquisadores da Universidade de Tel Aviv, do Technion e da Intuit demonstraram uma nova classe de ataque chamada HalluSquatting, que transforma a tendencia de alucinacao dos LLMs em vetor escalavel de infeccao. O metodo pre-registra nomes de repositorios e pacotes que os modelos inventam com frequencia quando pedidos para buscar recursos populares, atingindo taxas de alucinacao de 85% em prompts de clonagem e 100% em prompts de instalacao de skills. O resultado sao botnets agentic capazes de comprometer maquinas de desenvolvedores atraves de ferramentas como Cursor, GitHub Copilot, Windsurf, Cline e Gemini CLI.

O que aconteceu

Um novo trabalho academico batizou a tecnica de adversarial hallucination squatting. Ate agora, a comunidade tratava as alucinacoes de LLMs como problema de qualidade, um ruido que a engenharia de prompt e retrieval augmented generation buscavam reduzir. Os pesquisadores demonstraram que o mesmo comportamento pode ser transformado em canal ofensivo por atacantes sem qualquer acesso direto ao usuario final ou a sua sessao de IA.

Ate hoje, ataques de promptware conhecidos exigiam um canal direto: e-mail, log, comentario ou notificacao que chegasse ao contexto do LLM. O HalluSquatting muda essa dinamica ao explorar um comportamento intrinseco do modelo, sem depender de canal de entrega personalizado, tornando o alcance potencialmente global.

Os fornecedores afetados foram notificados antes da publicacao, e o time academico afirma ter omitido detalhes de exploracao considerados diretamente reutilizaveis por atacantes. Mesmo assim, o mecanismo geral do ataque foi descrito de forma clara o suficiente para orientar novas pesquisas ofensivas.

Como o ataque funciona

O ataque parte de um mapeamento: os pesquisadores catalogam nomes de repositorios e pacotes que LLMs frequentemente inventam quando recebem prompts populares de desenvolvimento. Os testes mostram que 85% das solicitacoes de clonagem em experimentos resultaram em nomes hallucinados, e as pedidas de instalacao de skills chegaram a 100%.

Mais critico ainda: os mesmos nomes tendem a se repetir entre foundation models diferentes. Isso significa que o mesmo squatting funciona simultaneamente contra Cursor, Windsurf, GitHub Copilot, Cline, Gemini CLI, OpenClaw e outros clientes que dependem desses modelos base. Registrado o nome hallucinado em um GitHub, npm ou similar, o atacante planta instrucoes maliciosas.

Quando o desenvolvedor desavisado pede ao assistente para clonar o repositorio ou instalar a skill, o proprio LLM traz o payload malicioso e o executa via terminal integrado. As instrucoes injetadas podem escalar para baixar novas ferramentas, exfiltrar tokens ou instalar familias inteiras de malware.

“Botnets tradicionais dependem de vulnerabilidades, praticas fracas e movimento lateral. Botnets agentic, por outro lado, se espalham via injecoes de prompt que ignoram firewalls tradicionais e podem se fixar em praticamente qualquer dispositivo, gerando uma populacao muito mais heterogenea de hosts comprometidos do que Mirai.”
Equipe HalluSquatting – Tel Aviv, Technion, Intuit

Quem esta em risco

Desenvolvedores individuais que rodam assistentes de IA locais com terminal integrado e permissao ampla, especialmente Cursor, Windsurf, Cline, Gemini CLI e concorrentes
Times de engenharia com adocao rapida de agentic coding, onde revisoes humanas de comandos executados pelo assistente sao inconsistentes
Pipelines de CI/CD que integram assistentes de IA para instalacao ou setup automatizados de ambientes de teste
Organizacoes com plugins ou skills marketplaces onde nomes similares aos hallucinados podem ser publicados por terceiros
Usuarios corporativos de GitHub Copilot com autonomia para invocar comandos de sistema atraves do agente

Analise

O HalluSquatting nao inventa um vetor totalmente novo. Ele generaliza uma tecnica que ja existia em ambiente Python, o typosquatting em PyPI, e a projeta para a era dos assistentes agentic. A diferenca crucial e que agora o atacante nao precisa nem convencer o desenvolvedor a digitar o nome errado: o LLM digita por ele, com convicao, apresentando o pacote hallucinado como a resposta certa.

Esse trabalho conversa diretamente com pesquisas anteriores sobre package hallucination, publicadas em 2024, que ja alertavam para a repeticao consistente de nomes falsos entre modelos. O que faltava era transformar a observacao em campanha ofensiva operacional. Os autores do HalluSquatting fecham essa lacuna e mostram que o resultado pode ser uma botnet agentic, capaz de espalhar por qualquer host onde um assistente de IA rode com privilegios.

O ponto realmente inquietante e o carater silencioso do ataque. Nao ha payload malicioso trafegando em e-mail, nao ha macro suspeita em documento, nao ha binario baixado sem contexto. Ha um assistente que o proprio usuario invocou, com autoridade cognitiva percebida como alta, executando um repositorio que ele mesmo sugeriu. Ferramentas classicas de EDR e proxy quase sempre passam batido nesse fluxo, porque a origem da execucao e o proprio processo autorizado do IDE.

Para o Brasil e America Latina, onde a adocao de agentic coding cresce em ritmo acelerado em times de fintech e SaaS, o alerta precisa ser lido como emergente. E provavel que veremos incidentes reais nos proximos meses envolvendo comprometimento de estacoes de desenvolvedores por essa via, com efeito cascata em segredos de nuvem e pipelines internos.

Recomendacoes praticas

Restringir a capacidade dos assistentes de IA de executar comandos de instalacao ou clonagem sem confirmacao explicita, principalmente em modo agent com autonomia elevada
Implantar allowlist de fontes confiaveis para pacotes e repositorios, bloqueando resolucoes automaticas para namespaces desconhecidos
Ativar politicas de assinatura e verificacao de origem para pacotes puxados via assistente (npm provenance, PyPI attestations, Git commit signing)
Rodar assistentes de IA em containers efemeros ou sandboxes com escopo minimo de credenciais, isolando o efeito de qualquer execucao inesperada
Auditar logs de comandos executados por agentes de IA em busca de nomes de repos ou pacotes registrados recentemente e com baixa reputacao
Sensibilizar equipes de desenvolvimento sobre o risco especifico de nomes hallucinados, orientando duvida sempre que o assistente propuser um pacote nao familiar
Monitorar publicacoes das principais foundries de LLMs sobre mitigacoes internas contra hallucination squatting, incluindo listas de nomes bloqueados

Fonte: SecurityWeek