Estudo: Agente GPT-4 pode explorar vulnerabilidades não corrigidas

Acadêmicos de uma universidade dos EUA descobriram que se você alimentar um agente de inteligência artificial GPT-4 com avisos de segurança pública, ele poderá explorar vulnerabilidades não corrigidas do “mundo real” sem informações técnicas precisas.

Pesquisadores da Universidade de Illinois Urbana-Champaign forneceram aos agentes de IA descrições de mais de uma dúzia de vulnerabilidades divulgadas, mas não corrigidas – ou “de um dia”, incluindo dois bugs classificados como “críticos” na escala CVSS. O agente que criaram com o GPT-4 da OpenAI explorou 87% das vulnerabilidades. Quatorze outros agentes feitos com modelos incluindo GPT-3.5, vários modelos de linguagem grande de código aberto e scanners de vulnerabilidade de código aberto ZAP e Metasploit falharam completamente.

Daniel Kang, um dos quatro cientistas que publicaram o artigo, disse que o GPT-4 era “incrivelmente bom” em seguir instruções e planejar descrições possivelmente vagas, como descrições CVE. “Os outros LLMs que testamos tiveram dificuldades com isso: esta foi minha maior surpresa, considerando como outros LLMs são ótimos em outras tarefas”, disse ele ao Information Security Media Group.

Kang disse que os modelos testados não incluíam os principais concorrentes do GPT-4, Claude 3 e Gemini 1.5 Pro, porque a equipe não tinha acesso a eles no momento dos experimentos.

Kang e seus colegas criaram o agente GPT-4 AI com apenas 91 linhas de código. “Se você extrapolar para o que os modelos futuros podem fazer, parece provável que eles serão muito mais capazes do que os script kiddies podem ter acesso hoje”, diz o jornal .

O sucesso do GPT-4 tem uma ressalva importante: ele precisa de uma descrição CVE da falha para realizar a tarefa. Sem isso, o agente de IA só poderia explorar 7% das vulnerabilidades.

Os agentes de IA são grandes modelos de linguagem combinados com software de automação. Neste estudo, o GPT-4 não demonstra uma capacidade emergente de analisar e explorar autonomamente vulnerabilidades de software, mas mostra seu valor como um componente-chave da automação de software, unindo conteúdo existente e trechos de código, disse Chris Rohlf, um não- pesquisador residente do Projeto CyberAI do Centro de Segurança e Tecnologia Emergente de Georgetown.

As únicas vulnerabilidades que o GPT-4 não conseguiu explorar foram o Iris XSS e o Hertzbeat RCE.

Iris é um aplicativo que permite que respondedores de incidentes compartilhem detalhes técnicos durante as investigações. É “extremamente difícil para um agente LLM navegar, pois a navegação é feita através de JavaScript”, disseram os pesquisadores. Mas Rohlf disse que poderia contornar o problema explicando ao GPT-4 o que o comunicado significava e como o trecho de código funcionava. “Extrair a exploração de prova de conceito deste comunicado e explorar o endpoint JNDI é bastante trivial”, disse ele.

O GPT-4 solicitado em inglês não poderia explorar o Hertzbeat porque a descrição do CVE estava em chinês, o que confundiu o agente, disseram os cientistas da universidade. Rohlf disse que esta limitação era “um tanto irônica”, já que o agente e o GPT-4 estão sendo enquadrados nesta pesquisa como um mecanismo de automação de exploração e ainda assim “eles não foram capazes de superar um problema de navegação da IU”. Ele disse que a limitação poderia ser “facilmente superada”, mas não pôde testá-la porque os autores não publicaram seu código.

Kang disse que a OpenAI “pediu explicitamente à equipe para não divulgar publicamente as instruções neste momento”. OpenAI não respondeu a um pedido de comentário.

Os pesquisadores disseram que a solicitação é “detalhada e incentiva o agente a ser criativo, a não desistir e a tentar abordagens diferentes”. Eles não tornaram as instruções públicas por razões éticas, mas disseram que as compartilharão mediante solicitação.

O último estudo surge meses depois de os pesquisadores terem publicado em fevereiro um artigo que descreve como os LLMs poderiam ser usados ​​para automatizar ataques a sites em um ambiente de sandbox.

Os agentes LLM tornaram-se cada vez mais populares nos últimos anos. Em vez de apenas coletar e apresentar informações, os agentes podem usar ferramentas à sua disposição para criar outros subagentes para completar subconjuntos de uma tarefa, executar tarefas complexas de engenharia de software e auxiliar em investigações científicas.

Outros estudos semelhantes foram “apenas no contexto de exercícios de captura da bandeira com brinquedos. Em nosso trabalho, exploramos as capacidades dos LLMs para hackear vulnerabilidades do mundo real”, disseram os pesquisadores.

Os resultados do estudo mostram a possibilidade de uma capacidade emergente e que descobrir uma vulnerabilidade é mais difícil do que explorá-la, disseram.

Os pesquisadores calcularam o custo de realização de um ataque em US$ 8,80 por exploração – quase três vezes menor do que contratar um testador de penetração humano por meia hora. Kang disse que os agentes GPT-4 também eram “trivialmente paralelizáveis”, o que significa que o custo seria essencialmente linear ao número de agentes implantados. “Este não é o caso dos humanos”, disse ele.

“É minha opinião pessoal que muitas pessoas subestimam as tendências da IA ​​– tanto em termos de capacidade como de custo”, disse Kang. O turbo GPT-4 já é três vezes mais barato que o GPT-4 e os preços provavelmente cairão. O GPT-4 é muito mais capaz que o GPT-3.5, e é muito provável que o GPT-5 seja mais capaz que o GPT-4, disse ele. Segundo Kang, o objetivo principal da equipe era destacar tendências nas capacidades dos agentes de fronteira e “não dizer que os agentes existentes são perigosos, como outros podem sugerir”.

Kang disse que sua equipe ainda estava “pensando nas implicações do nosso trabalho” e “não tinha certeza do impacto que nossas descobertas teriam”. O cenário dos LLMs e da segurança informática está mudando rapidamente, disse ele – “tão rápido que acho difícil prever para onde as coisas irão”.