OpenAI cria equipe para estudar riscos ‘catastróficos’ da IA

A OpenAI, startup que criou o ChatGPT, anunciou hoje a criação de uma nova equipe dedicada a avaliar, analisar e investigar modelos de inteligência artificial (IA) para proteger contra o que descreve como “riscos catastróficos”. A equipe de Preparedness (algo como “prevenção”) será liderada por Aleksander Madry, diretor do Centro de Aprendizado Máquina Implementável do MIT.

Madry ingressou na OpenAI em maio como “diretor de Preparedness”, de acordo com o LinkedIn. As principais responsabilidades da equipe serão rastrear, prever e proteger contra os perigos dos futuros sistemas de IA, que vão desde sua capacidade de persuadir e enganar humanos (como em ataques de phishing) até suas capacidades de geração de código malicioso.

Leia mais:

Entenda a diferença entre o Bard do Google e o ChatGPT da OpenAILuzIA é confiável? Veja se você pode acreditar no que a IA escreveChatGPT com problemas? Veja como resolver

Algumas das categorias de risco que o grupo foi encarregado de estudar parecem mais distantes do que outras. Por exemplo, em um post no blog, a OpenAI lista ameaças “químicas, biológicas, radiológicas e nucleares” como áreas de grande preocupação quando se trata de modelos de IA. O CEO da OpenAI, Sam Altman, é conhecido por expressar preocupações sobre a IA, muitas vezes mencionando que a IA “pode levar à extinção humana”, seja por razões de imagem ou convicção pessoal.

A OpenAI afirma que a equipe também será encarregada de formular uma “política de desenvolvimento informada por riscos”, que detalhará a abordagem da OpenAI para a construção de avaliações de modelos de IA e ferramentas de monitoramento, as ações de mitigação de riscos da empresa e sua estrutura de governança para supervisão ao longo do processo de desenvolvimento do modelo.

Isso visa complementar o trabalho da OpenAI na disciplina da segurança da IA, com foco nas fases pré e pós-implantação do modelo.

Acreditamos que modelos de IA, que excederão as capacidades atualmente presentes nos modelos mais avançados existentes, têm o potencial de beneficiar toda a humanidade. Mas também apresentam riscos cada vez mais graves… Precisamos garantir que tenhamos o entendimento e a infraestrutura necessários para a segurança de sistemas de IA altamente capazes.

OpenAI em post de blog

O lançamento ocorre durante uma importante cúpula do governo do Reino Unido sobre segurança da IA, o que não parece ser uma coincidência. Isso vem após a OpenAI anunciar que formaria uma equipe para estudar, direcionar e controlar formas emergentes de IA “superinteligente”.

Altman acredita, juntamente com Ilya Sutskever, cientista-chefe da OpenAI e co-fundador, que a IA com inteligência superior à dos humanos poderá surgir dentro da próxima década e que essa IA não necessariamente será benevolente, tornando necessário pesquisas sobre maneiras de limitá-la e controlá-la.

OpenAI oferece recompensa por ideias

A empresa também está aberta a estudar áreas de risco de IA “menos óbvias” e mais fundamentadas, diz a OpenAI.Para coincidir com o lançamento da equipe Preparedness, a OpenAI está solicitando ideias para estudos de risco da comunidade, com um prêmio de US$ 25 mil e a possibilidade de emprego na equipe Preparedness para as dez melhores propostas.“Imagine que lhe demos acesso irrestrito aos modelos Whisper (transcrição), Voice (texto para fala), GPT-4V e DALLE·3 da OpenAI, e você fosse um ator malicioso”, uma das perguntas na inscrição do concurso diz. “Considere o uso mais único, ainda sendo provável, potencialmente catastrófico do modelo.”

O post OpenAI cria equipe para estudar riscos ‘catastróficos’ da IA apareceu primeiro em Olhar Digital.