As pesquisas sobre a segurança de inteligência artificial (IA) têm crescido nos últimos anos, e agora um estudo recente da McAfee Labs demonstrou que a capacidade de automatizar a descoberta de vulnerabilidades em modelos de IA está crescendo.
O estudo, intitulado “Texto oculto: como manipular modelos de processamento de linguagem natural para adulterar os resultados”, analisou 24 modelos de processamento de linguagem natural (NLP) de código aberto para identificar vulnerabilidades. Os modelos de NLP foram manipulados usando técnicas de “embedding”, que poderiam alterar o resultado final das análises do modelo em até 93,4%.
“As vulnerabilidades reveladas indicam que o design atual dos modelos de NLP não é seguro o suficiente para a maioria das aplicações. Os atacantes estão se aproveitando disso para tentar manipular os resultados dos modelos ”, disse Raj Samani, chefe cientista da McAfee.
Os pesquisadores também testaram os modelos de NLP e demonstraram que as técnicas de manipulação foram bem-sucedidas 52,3% do tempo, o que sugere que os ataques de enganação são possíveis.
Com a popularidade da inteligência artificial crescendo, os atacantes têm cada vez mais incentivos para manipular os modelos de IA para fins maliciosos. A McAfee recomenda que os desenvolvedores de modelos de IA:
• Projetem com segurança em mente
• Escalar a segurança para monitorar e responder aos ataques de adversários
• Ter um plano de contingência para lidar com falhas em seus sistemas
A plataforma do Google Research reúne dados de milhares de idiomas sobre falantes, sistemas de…
Pesquisadores injetaram erros conhecidos em 30 artigos reais de astrofísica e de aprendizado de máquina…
A sexta edição anual do relatório da Sophos ouviu 217 líderes de TI do varejo…
Horas depois da queda de quase 24 horas do Exchange Online, campanhas de e-mail passaram…
Pesquisadores da Universidade de Tóquio e do Instituto de Automação da Academia Chinesa de Ciências…
Uma chave de acesso exposta em um fornecedor de inferência abriu caminho para o roubo…