Alucinações de IA representam “ameaça direta” à ciência, alerta estudo de Oxford

Grandes Modelos de Linguagem (LLMs) — como aqueles usados ​​em chatbots — têm uma tendência alarmante à alucinação. Ou seja, para gerar conteúdos falsos que apresentam como verdadeiros. Estas alucinações de IA representam, entre outros riscos, uma ameaça direta à ciência e à verdade científica, alertam investigadores do Oxford Internet Institute.

De acordo com o artigo deles, publicado em Natureza Comportamento Humano“Os LLMs são projetados para produzir respostas úteis e convincentes sem quaisquer garantias preponderantes quanto à sua precisão ou alinhamento com os fatos.”

Os LLMs são atualmente tratados como fontes de conhecimento e geram informações em resposta a perguntas ou solicitações. Mas os dados nos quais eles são treinados não são necessariamente factualmente corretos. Uma razão por trás disso é que esses modelos geralmente usam fontes on-line, que podem conter declarações, opiniões e informações imprecisas falsas.

“As pessoas que usam LLMs frequentemente antropomorfizam a tecnologia, confiando nela como uma fonte de informação semelhante à humana”, explicou o professor Brent Mittelstadt, coautor do artigo.

“Isso se deve, em parte, ao design dos LLMs como agentes úteis e de aparência humana que conversam com os usuários e respondem aparentemente a qualquer pergunta com texto bem escrito e que soa confiante. O resultado disso é que os usuários podem ser facilmente convencidos de que as respostas são precisas, mesmo quando não têm base em fatos ou apresentam uma versão tendenciosa ou parcial da verdade.”

Quando se trata de ciência e educação, a precisão da informação é de vital importância e os investigadores incitam a comunidade científica a utilizar LLMs como “tradutores de tiro zero”. Isso significa que os usuários devem fornecer ao modelo os dados apropriados e pedir para transformá-los em uma conclusão ou código, por exemplo – em vez de confiar no próprio modelo como fonte de conhecimento.

Dessa forma, fica mais fácil verificar se a saída está factualmente correta e alinhada com a entrada fornecida.

Os LLMs irão “sem dúvida” ajudar nos fluxos de trabalho científicos, de acordo com os professores de Oxford. Mas é crucial que a comunidade os utilize de forma responsável e mantenha expectativas claras sobre como podem realmente contribuir.