Atores de ameaças abusam da IA ​​Grok do X para espalhar links maliciosos

Pesquisadores descobriram que agentes de ameaças exploram o Grok, IA integrada ao X (antigo Twitter), para divulgar links maliciosos.

Os agentes de ameaças estão usando o Grok, o assistente de IA integrado do X, para contornar as restrições de publicação de links que a plataforma introduziu para reduzir publicidade maliciosa.

Conforme descoberto pela pesquisadora Nati Tal, do Guardio Labs, os anunciantes geralmente veiculam anúncios em vídeo suspeitos contendo iscas de conteúdo adulto e evitam incluir um link para o corpo principal para não serem bloqueados por X.

Em vez disso, eles o escondem no pequeno campo de metadados “De:” abaixo da placa de vídeo, que aparentemente não é escaneado pela plataforma de mídia social em busca de links maliciosos.

Escondendo o link malicioso em um campo ignorado

Escondendo o link malicioso em um campo ignorado
Fonte:  @bananahacks

Em seguida, (provavelmente) os mesmos atores perguntam a Grok, por meio de uma resposta ao anúncio, algo sobre a postagem, como “de onde é esse vídeo” ou “qual é o link para esse vídeo”.

O Grok analisa o campo oculto “De:” e responde com o link malicioso completo em formato clicável, permitindo que os usuários cliquem nele e vão direto para o site malicioso.

Respostas que acionam uma resposta Grok
Respostas que acionam uma resposta Grok
Fonte:  @bananahacks : 

Como o Grok é automaticamente uma conta de sistema confiável na plataforma X, sua publicação aumenta a credibilidade, o alcance, o SEO e a reputação do link, aumentando a probabilidade de que ele seja transmitido para um grande número de usuários.

O pesquisador descobriu que muitos desses links direcionam-se por meio de redes de anúncios obscuras, levando a golpes como testes CAPTCHA falsos, malware que rouba informações e outros payloads maliciosos.

Em vez de serem bloqueados pelo X, eles são promovidos aos usuários na plataforma por meio de anúncios maliciosos que recebem um impulso adicional do Grok.

Tal chama a técnica de exploração dessa brecha de “Grokking” e observa que ela é muito eficaz, em alguns casos amplificando anúncios maliciosos para atingir milhões de impressões, como mostrado abaixo.

Alcançando milhões de impressões
Alcançando milhões de impressões
Fonte:  @bananahacks

Soluções potenciais incluem escanear todos os campos, bloquear links ocultos e adicionar higienização de contexto ao Grok, para que o assistente de IA não repita links cegamente quando solicitado pelos usuários, mas sim os filtre e verifique em listas de bloqueio.

Tal nos confirmou que entrou em contato com X para relatar o problema e recebeu uma confirmação não oficial de que os engenheiros da Grok receberam o relatório.