Carregando...

OpenAI forma equipe para estudar riscos ‘catastróficos’ da inteligência artificial – incluindo ameaças nucleares

A equipe irá monitorar, prever e proteger contra os perigos dos futuros sistemas de IA – desde enganar pessoas até criar códigos maliciosos.

Nós ajudamos

Atualizado: Crianças de Mariupol precisam de 120 laptops para educação - doe um antigo "ferro"deixe-o trabalhar para o futuro da Ucrânia

OpenAI cria um “grupo de preparação” separado que estudará os riscos “catastróficos” da inteligência artificial – os especialistas serão liderados pelo diretor do Centro de Implantação de Aprendizado de Máquina do MIT, Alexander Madry, que ingressou na empresa de Sam Altman em maio.

As principais responsabilidades da equipa são monitorizar, prever e proteger contra os perigos dos futuros sistemas de inteligência artificial, desde a sua capacidade de persuadir e enganar as pessoas (como o phishing) até à criação de códigos maliciosos. Ao mesmo tempo, algumas categorias parecem um pouco rebuscadas, como ameaças “químicas, biológicas, radiológicas e nucleares”, que a OpenAI afirma serem as mais preocupantes quando se trata de modelos de IA.

Paralelamente, a OpenAI está coletando ideias da comunidade para pesquisas de risco, com um prêmio de US$ 25.000 e a oportunidade de participar de um grupo de preparação para os 10 melhores envios.

“Imagine que lhe demos acesso ilimitado aos modelos OpenAI Whisper (transcrição), Voice (texto para fala), GPT-4V e DALLE·3, e você fosse um invasor. Vamos considerar o uso indevido do modelo mais singular, mas possível e potencialmente catastrófico”, diz uma das perguntas do edital do concurso.

A OpenAI diz que o grupo de preparação formulará uma “política de desenvolvimento informada sobre riscos” detalhando a abordagem da empresa para construir ferramentas de avaliação e monitoramento de modelos de IA, os esforços de mitigação de riscos da empresa e sua estrutura de governança para supervisionar o processo de desenvolvimento do modelo.

“Acreditamos que os modelos de inteligência artificial que existem hoje nas suas variações mais avançadas têm o potencial de beneficiar toda a humanidade. Mas também representam riscos cada vez mais graves… Precisamos de garantir que temos a compreensão e a infraestrutura necessárias para proteger sistemas de IA de alto desempenho”, escreve a OpenAI.

O CEO da OpenAI, Sam Altman, expressou frequentemente preocupações de que a IA “poderia levar à extinção humana” e em maio, juntamente com outros pesquisadores de inteligência artificial, emitiu uma declaração de 22 palavras que “reduzir o risco de extinção devido à inteligência artificial deve ser uma prioridade global ” Durante uma entrevista em Londres, ele também sugeriu que os governos deveriam tratar a IA “tão seriamente” quanto as armas nucleares.