Perigos da IA: técnica expõe fragilidade de chatbots
Pesquisadores da Universidade Carnegie Mellon divulgaram um estudo preocupante que destaca uma falha de segurança em chatbots de inteligência artificial generativa. A equipe conseguiu desenvolver uma técnica que permite desbloquear respostas perigosas nessas ferramentas de IA.
Essa descoberta coloca em xeque a eficácia das limitações de segurança impostas em grandes modelos de linguagem, como ChatGPT, Bard, Llama, entre outros projetos de inteligência artificial.Os chatbots são normalmente programados para não responder a perguntas consideradas perigosas ou impróprias, como solicitações para construir bombas ou outras atividades ilegais.No entanto, os pesquisadores descobriram uma maneira automatizada de contornar essas restrições.A técnica consiste em adicionar textos aparentemente aleatórios ao final de cada pergunta.Dessa forma, o chatbot é induzido a ignorar a parte potencialmente perigosa da pergunta e responder normalmente.
Leia mais:
Inteligência artificial generativa: o que é, como funciona e onde usarLuzIA: o que é e como usar inteligência artificial no WhatsAppO que é e como funciona a inteligência artificial Replika?
Ao usar essa abordagem, os chatbots não reconhecem a parte problemática da pergunta e respondem como se não houvesse conteúdo perigoso envolvido. Os pesquisadores conduziram os testes utilizando a API desses sistemas, e não por meio de interfaces de sites publicamente acessíveis.
Essa vulnerabilidade, conhecida como “jailbreak” de chatbots, pode abrir portas para usos indevidos dessas aplicações. Imagine um cenário em que indivíduos mal-intencionados possam obter informações inseguras ou manipular os chatbots para obter respostas inadequadas.
Diante dessas descobertas alarmantes, a equipe de pesquisadores entrou em contato com as principais empresas que desenvolvem projetos de inteligência artificial generativa para alertá-las sobre os resultados. Essas empresas agora enfrentam o desafio de aprimorar suas tecnologias para mitigar essa vulnerabilidade e garantir a segurança e integridade de suas plataformas.
Já assistiu aos novos vídeos no YouTube do Olhar Digital? Inscreva-se no canal!
O post Perigos da IA: técnica expõe fragilidade de chatbots apareceu primeiro em Olhar Digital.
