OpenAI Interrompe Redes Maliciosas que Usavam Modelos de IA para Fins Enganosos

Na última quarta-feira, a OpenAI divulgou que desmantelou mais de 20 operações e redes enganosas em todo o mundo que estavam tentando usar sua plataforma para atividades maliciosas desde o início do ano. Essas operações envolviam uma série de práticas, como depuração de malware, criação de conteúdo para sites fraudulentos, geração de biografias falsas para contas em redes sociais e a criação de fotos de perfil geradas por IA, usadas em contas falsas na plataforma X (anteriormente conhecida como Twitter).Evolução das Ameaças Cibernéticas

De acordo com a OpenAI, as táticas empregadas pelos ciber criminosos continuam a evoluir, com agentes de ameaças testando novas maneiras de utilizar os modelos de IA. No entanto, a empresa afirmou que “não há evidências de que essas tentativas resultaram em avanços significativos na criação de novos malwares ou na capacidade de construir públicos virais”. Apesar das tentativas, a sofisticação dos ataques e o alcance de suas campanhas não atingiram os níveis esperados pelos atacantes.

A OpenAI também revelou que bloqueou atividades que buscavam gerar conteúdo relacionado a eleições em diferentes partes do mundo, incluindo os EUA, Ruanda, e, em menor grau, na Índia e na União Europeia. Em todos os casos, nenhuma dessas redes conseguiu atrair engajamento viral ou audiências sustentadas.

Operações Específicas de Influência e Ciberataques

Entre as operações desarticuladas, destaca-se o esforço de uma empresa comercial israelense chamada STOIC (também conhecida como Zero Zeno), que gerou comentários sobre as eleições indianas. Esse esforço foi originalmente revelado em maio de 2023 pela Meta e pela própria OpenAI.

As operações cibernéticas mais notáveis descobertas pela OpenAI incluem:

• SweetSpecter: Um grupo suspeito, com base na China, utilizou modelos de IA para atividades como reconhecimento baseado em LLM (Large Language Models), pesquisa de vulnerabilidades, suporte a scripts, evasão de detecção de anomalias e desenvolvimento de ferramentas maliciosas. Esse grupo também tentou realizar ataques de spear-phishing contra funcionários da OpenAI, visando a entrega de um malware conhecido como SugarGh0st RAT.
• Cyber Av3ngers: Um grupo afiliado ao Corpo da Guarda Revolucionária Islâmica do Irã (IRGC), que utilizou IA para realizar pesquisas sobre controladores lógicos programáveis (PLC), fundamentais em ataques a infraestruturas críticas.
• Storm-0817: Um agente de ameaças iraniano que usou IA para depurar malware para Android, capaz de coletar dados sensíveis, além de desenvolver ferramentas para rastrear perfis de usuários no Instagram via Selenium e traduzir perfis do LinkedIn para persa.

Além dessas, a OpenAI revelou que bloqueou outras redes influentes, como:

• A2Z e Stop News: Redes de influência que criavam e distribuíam conteúdo em inglês e francês para sites e mídias sociais. O grupo Stop News, por exemplo, foi especialmente prolífico na criação de imagens usando DALL·E, um gerador de imagens da OpenAI. Essas imagens eram frequentemente de estilo cartunesco, com paletas de cores chamativas, projetadas para atrair atenção.

Redes de Apostas e Comentários Falsos

Outras redes destacadas incluíam:

• Bet Bot: Utilizava a API da OpenAI para gerar conversas no X e redirecionar usuários para sites de apostas.
• Corrupt Comment: Gerava comentários fabricados para enganar usuários no X, envolvendo links maliciosos e spam.

A divulgação dessas atividades ocorreu cerca de dois meses após a OpenAI ter banido um conjunto de contas ligadas a uma operação de influência secreta iraniana, conhecida como Storm-2035. Essa operação utilizava o ChatGPT para gerar conteúdo focado, entre outros temas, nas eleições presidenciais dos EUA.

Uso Malicioso da IA Generativa

Os pesquisadores da OpenAI, Ben Nimmo e Michael Flossman, afirmaram que os agentes de ameaças utilizavam os modelos de IA principalmente em uma fase intermediária de suas atividades, após adquirirem ferramentas básicas como e-mails e contas de redes sociais. Esses modelos eram usados antes de lançarem produtos finais, como postagens em mídias sociais maliciosas ou malware distribuído.

Além disso, a empresa de segurança cibernética Sophos publicou um relatório destacando como a IA generativa também está sendo usada para disseminar desinformação direcionada, através de e-mails microdirecionados e campanhas políticas falsas. A IA permite criar perfis de personagens fictícios e sites de campanha política gerados automaticamente, facilitando a automação de desinformação em grande escala.

Implicações da Automação e Desinformação

Com o uso de IA, é possível gerar qualquer tipo de conteúdo, desde material de campanha legítimo até desinformação intencional. Como destacaram os pesquisadores Ben Gelman e Adarsh Kyadige, “desinformação intencional pode levar as pessoas a apoiar candidatos que na realidade não apoiam ou a rejeitar candidatos que pensavam que apoiavam”. Isso eleva os riscos de manipulação em campanhas políticas e desinformação em massa, criando um novo desafio para a segurança cibernética global.