IA é mais manipulável do que se imaginava, diz estudo

Ferramentas de inteligência artificial já são usadas amplamente, passando por chatbots conversacionais, sistemas de direção autônoma e medicina. No entanto, um novo estudo revelou que a IA é muito mais vulnerável do que se imaginava e que basta conhecer a falha para manipular a tecnologia a fazer o que o usuário quiser.

Leia mais:

Direção autônoma: hacker consegue fazer veículo “alucinar”; entendaPesquisa mostra como IA pode ser usada para melhorar direção autônomaUber: como ver sua avaliação de usuário

IA vulnerável

De acordo com o estudo, a IA está vulnerável a ataques direcionados de usuários maliciosos que queriam manipulá-la. O artigo os chama de “ataques adversários”, uma ação que manipula propositalmente os dados inseridos em um sistema para confundi-lo.

O exemplo dado pela pesquisa é de uma placa de “PARE” na rua. Normalmente, um modelo de direção autônomo treinado com IA identifica a placa e realmente para o carro. No entanto, um usuário mal-intencionado pode descobrir uma vulnerabilidade, como cobrir algumas das letras da placa com um adesivo, para fazer com que a tecnologia não mais a interprete da mesma forma e tome outra ação. Ou seja, o carro não pararia e poderia causar um acidente.

Outro exemplo é na medicina. Um modelo de linguagem que fornece diagnósticos pode ser manipulado para interpretar uma certa imagem de forma diferente e dar resultados imprecisos ou falsos, prejudicando um tratamento de saúde.

O estudo explica que isso é feito de forma intencional, ou seja, o invasor procura e conhece a vulnerabilidade do sistema.

Como parar isso?

Segundo o site TechXplore, para testar isso, os pesquisadores criaram um software chamado QuadAttacK, que pode ser usado para testar as falhas em qualquer rede neural de IA.Um dos responsáveis pelo estudo explicou: ao testar o modelo de IA com dados limpos, ele agirá conforme previsto. A novidade do software é que ele identifica essas operações e aprende como a tecnologia toma decisões para gerar um resultado “certo”, aprendendo também como fazê-la gerar um resultado manipulado.Então, o QuadAttacK testa a IA até descobrir exatamente qual a vulnerabilidade dela e, tendo essa informação, começa a enviar dados manipulados para ver como ela responde.O estudo colocou em prática os testes usando quatro redes neurais profundas (ResNet-50, DenseNet-121, ViT-B e DEiT-S) e descobriu que as quatro eram vulneráveis.Após a conclusão do estudo, eles disponibilizaram o QuadAttacK publicamente para que desenvolvedores possam usá-lo para identificar falhas e consertá-las.

O post IA é mais manipulável do que se imaginava, diz estudo apareceu primeiro em Olhar Digital.