HalluSquatting: pesquisadores transformam alucinacoes de LLMs em vetor de infeccao para botnets agentic

Pesquisadores da Universidade de Tel Aviv, do Technion e da Intuit demonstraram uma nova classe de ataque chamada HalluSquatting, que transforma a tendencia de alucinacao dos LLMs em vetor escalavel de infeccao. O metodo pre-registra nomes de repositorios e pacotes que os modelos inventam com frequencia quando pedidos para buscar recursos populares, atingindo taxas de alucinacao de 85% em prompts de clonagem e 100% em prompts de instalacao de skills. O resultado sao botnets agentic capazes de comprometer maquinas de desenvolvedores atraves de ferramentas como Cursor, GitHub Copilot, Windsurf, Cline e Gemini CLI.

O que aconteceu

Um novo trabalho academico batizou a tecnica de adversarial hallucination squatting. Ate agora, a comunidade tratava as alucinacoes de LLMs como problema de qualidade, um ruido que a engenharia de prompt e retrieval augmented generation buscavam reduzir. Os pesquisadores demonstraram que o mesmo comportamento pode ser transformado em canal ofensivo por atacantes sem qualquer acesso direto ao usuario final ou a sua sessao de IA.

Ate hoje, ataques de promptware conhecidos exigiam um canal direto: e-mail, log, comentario ou notificacao que chegasse ao contexto do LLM. O HalluSquatting muda essa dinamica ao explorar um comportamento intrinseco do modelo, sem depender de canal de entrega personalizado, tornando o alcance potencialmente global.

Os fornecedores afetados foram notificados antes da publicacao, e o time academico afirma ter omitido detalhes de exploracao considerados diretamente reutilizaveis por atacantes. Mesmo assim, o mecanismo geral do ataque foi descrito de forma clara o suficiente para orientar novas pesquisas ofensivas.

Como o ataque funciona

O ataque parte de um mapeamento: os pesquisadores catalogam nomes de repositorios e pacotes que LLMs frequentemente inventam quando recebem prompts populares de desenvolvimento. Os testes mostram que 85% das solicitacoes de clonagem em experimentos resultaram em nomes hallucinados, e as pedidas de instalacao de skills chegaram a 100%.

Mais critico ainda: os mesmos nomes tendem a se repetir entre foundation models diferentes. Isso significa que o mesmo squatting funciona simultaneamente contra Cursor, Windsurf, GitHub Copilot, Cline, Gemini CLI, OpenClaw e outros clientes que dependem desses modelos base. Registrado o nome hallucinado em um GitHub, npm ou similar, o atacante planta instrucoes maliciosas.

Quando o desenvolvedor desavisado pede ao assistente para clonar o repositorio ou instalar a skill, o proprio LLM traz o payload malicioso e o executa via terminal integrado. As instrucoes injetadas podem escalar para baixar novas ferramentas, exfiltrar tokens ou instalar familias inteiras de malware.

“Botnets tradicionais dependem de vulnerabilidades, praticas fracas e movimento lateral. Botnets agentic, por outro lado, se espalham via injecoes de prompt que ignoram firewalls tradicionais e podem se fixar em praticamente qualquer dispositivo, gerando uma populacao muito mais heterogenea de hosts comprometidos do que Mirai.”

Equipe HalluSquatting – Tel Aviv, Technion, Intuit

Quem esta em risco

• Desenvolvedores individuais que rodam assistentes de IA locais com terminal integrado e permissao ampla, especialmente Cursor, Windsurf, Cline, Gemini CLI e concorrentes
• Times de engenharia com adocao rapida de agentic coding, onde revisoes humanas de comandos executados pelo assistente sao inconsistentes
• Pipelines de CI/CD que integram assistentes de IA para instalacao ou setup automatizados de ambientes de teste
• Organizacoes com plugins ou skills marketplaces onde nomes similares aos hallucinados podem ser publicados por terceiros
• Usuarios corporativos de GitHub Copilot com autonomia para invocar comandos de sistema atraves do agente

Analise

O HalluSquatting nao inventa um vetor totalmente novo. Ele generaliza uma tecnica que ja existia em ambiente Python, o typosquatting em PyPI, e a projeta para a era dos assistentes agentic. A diferenca crucial e que agora o atacante nao precisa nem convencer o desenvolvedor a digitar o nome errado: o LLM digita por ele, com convicao, apresentando o pacote hallucinado como a resposta certa.

Esse trabalho conversa diretamente com pesquisas anteriores sobre package hallucination, publicadas em 2024, que ja alertavam para a repeticao consistente de nomes falsos entre modelos. O que faltava era transformar a observacao em campanha ofensiva operacional. Os autores do HalluSquatting fecham essa lacuna e mostram que o resultado pode ser uma botnet agentic, capaz de espalhar por qualquer host onde um assistente de IA rode com privilegios.

O ponto realmente inquietante e o carater silencioso do ataque. Nao ha payload malicioso trafegando em e-mail, nao ha macro suspeita em documento, nao ha binario baixado sem contexto. Ha um assistente que o proprio usuario invocou, com autoridade cognitiva percebida como alta, executando um repositorio que ele mesmo sugeriu. Ferramentas classicas de EDR e proxy quase sempre passam batido nesse fluxo, porque a origem da execucao e o proprio processo autorizado do IDE.

Para o Brasil e America Latina, onde a adocao de agentic coding cresce em ritmo acelerado em times de fintech e SaaS, o alerta precisa ser lido como emergente. E provavel que veremos incidentes reais nos proximos meses envolvendo comprometimento de estacoes de desenvolvedores por essa via, com efeito cascata em segredos de nuvem e pipelines internos.

Recomendacoes praticas

• Restringir a capacidade dos assistentes de IA de executar comandos de instalacao ou clonagem sem confirmacao explicita, principalmente em modo agent com autonomia elevada
• Implantar allowlist de fontes confiaveis para pacotes e repositorios, bloqueando resolucoes automaticas para namespaces desconhecidos
• Ativar politicas de assinatura e verificacao de origem para pacotes puxados via assistente (npm provenance, PyPI attestations, Git commit signing)
• Rodar assistentes de IA em containers efemeros ou sandboxes com escopo minimo de credenciais, isolando o efeito de qualquer execucao inesperada
• Auditar logs de comandos executados por agentes de IA em busca de nomes de repos ou pacotes registrados recentemente e com baixa reputacao
• Sensibilizar equipes de desenvolvimento sobre o risco especifico de nomes hallucinados, orientando duvida sempre que o assistente propuser um pacote nao familiar
• Monitorar publicacoes das principais foundries de LLMs sobre mitigacoes internas contra hallucination squatting, incluindo listas de nomes bloqueados

Fonte: SecurityWeek