Categories: NOTÍCIAS EM GERAL

Encontrando falhas nos modelos de IA

As pesquisas sobre a segurança de inteligência artificial (IA) têm crescido nos últimos anos, e agora um estudo recente da McAfee Labs demonstrou que a capacidade de automatizar a descoberta de vulnerabilidades em modelos de IA está crescendo.

O estudo, intitulado “Texto oculto: como manipular modelos de processamento de linguagem natural para adulterar os resultados”, analisou 24 modelos de processamento de linguagem natural (NLP) de código aberto para identificar vulnerabilidades. Os modelos de NLP foram manipulados usando técnicas de “embedding”, que poderiam alterar o resultado final das análises do modelo em até 93,4%.

“As vulnerabilidades reveladas indicam que o design atual dos modelos de NLP não é seguro o suficiente para a maioria das aplicações. Os atacantes estão se aproveitando disso para tentar manipular os resultados dos modelos ”, disse Raj Samani, chefe cientista da McAfee.

Os pesquisadores também testaram os modelos de NLP e demonstraram que as técnicas de manipulação foram bem-sucedidas 52,3% do tempo, o que sugere que os ataques de enganação são possíveis.

Com a popularidade da inteligência artificial crescendo, os atacantes têm cada vez mais incentivos para manipular os modelos de IA para fins maliciosos. A McAfee recomenda que os desenvolvedores de modelos de IA:

• Projetem com segurança em mente

• Escalar a segurança para monitorar e responder aos ataques de adversários

• Ter um plano de contingência para lidar com falhas em seus sistemas

Ninja

Na cena de cybersecurity a mais de 25 anos, Ninja trabalha como evangelizador de segurança da informação no Brasil. Preocupado com a conscientização de segurança cibernética, a ideia inicial é conseguir expor um pouco para o publico Brasileiro do que acontece no mundo.

Recent Posts

Language Explorer mapeia a diversidade de idiomas do mundo

A plataforma do Google Research reúne dados de milhares de idiomas sobre falantes, sistemas de…

8 horas ago

Benchmark audita revisores de IA com erros injetados em papers

Pesquisadores injetaram erros conhecidos em 30 artigos reais de astrofísica e de aprendizado de máquina…

8 horas ago

Ransomware no varejo: criptografia sobe e resgate cai

A sexta edição anual do relatório da Sophos ouviu 217 líderes de TI do varejo…

8 horas ago

Phishing no Microsoft 365 usa o apagão global como isca

Horas depois da queda de quase 24 horas do Exchange Online, campanhas de e-mail passaram…

8 horas ago

CapLite barra injeção de prompt em agentes de modelos pequenos

Pesquisadores da Universidade de Tóquio e do Instituto de Automação da Academia Chinesa de Ciências…

8 horas ago

Invasão da Cursor distribuiu extensão falsa do Claude Code

Uma chave de acesso exposta em um fornecedor de inferência abriu caminho para o roubo…

8 horas ago