Nova técnica faz alucinações de IA acordarem e enfrentarem a realidade

Nos bastidores, o sistema Iris.ai aproveita gráficos de conhecimento, que mostrar relacionamentos entre dados.

Os gráficos de conhecimento avaliam e demonstram as etapas que um modelo de linguagem executa para alcançar seus resultados. Essencialmente, geram uma cadeia de pensamentos que o modelo deve seguir.

A abordagem simplifica o processo de verificação. Ao pedir à função de chat de um modelo para dividir as solicitações em partes menores e depois exibir as etapas corretas, os problemas podem ser identificados e resolvidos.

A estrutura poderia até levar um modelo a identificar e corrigir os seus próprios erros. Como resultado, uma resposta coerente e factualmente correta poderia ser produzida automaticamente.

“Precisamos quebrar a tomada de decisões da IA.

Iris.ai agora integrou a tecnologia em um novo recurso de bate-papo, que foi adicionado à plataforma Researcher Workspace da empresa. Nos testes preliminares, o apresentam alucinações de IA reduzidas para porcentagens de um dígito.

O problema, porém, não foi totalmente resolvido. Embora a abordagem pareça eficaz para os pesquisadores da plataforma Iris.ai, o método será difícil de implementar. escala para LLMs populares. De acordo com Botev, o c.Os desafios não decorrem da tecnologia, mas dos usuários.

Quando alguém faz uma pesquisa do Bing AI, por exemplo, eles podem ter pouco conhecimento do assunto que estão investigando. Conseqüentemente, eles podem interpretar mal os resultados que recebem.

“As pessoas autodiagnosticam doenças o tempo todo pesquisando seus sintomas online”, diz Botev. “Precisamos ser capazes de decompor o processo de tomada de decisão da IA ​​de uma forma clara e explicável.

A principal causa das alucinações de IA são problemas de dados de treinamento. A Microsoft revelou recentemente uma nova solução para o problema. O novo da empresa Modelo Phi-1.5 é pré-treinados em dados de “qualidade de livro didático”, que são gerados sinteticamente e filtrados de fontes da web.

EUEm teoria, esta técnica irá mitigar as alucinações de IA. Se os dados de treinamento estiverem bem estruturados e promoverem o raciocínio, deverá haver menos espaço para um modelo ter alucinações.

Outro método envolve a remoção de preconceitos dos dados. Para fazer isso, Botev sugere treinar um modelo em linguagem de codificação.

Atualmente, muitos LLMs populares são treinados em uma ampla gama de dados, desde romances e artigos de jornais até documentos legais e postagens em mídias sociais. Inevitavelmente, estas fontes contêm preconceitos humanos.

Em comitindo a linguagem, há uma ênfase muito maior na razão. Isto deixa menos espaço para interpretação, o que pode orientar os LLMs para respostas factualmente precisas. Por outro lado, poderia dar aos codificadores um poder potencialmente assustador.

“É uma questão de confiança.

Apesar de suas limitações, o Iris.ai método é um passo na direção certa. Ao usar o estrutura do gráfico de conhecimento, transparência e explicabilidade podem ser adicionadas à IA.

“Uma compreensão mais ampla dos processos do modelo, bem como conhecimento externo adicional com modelos de caixa preta, significa que as causas profundas das alucinações em todos os campos podem ser identificadas e abordadas mais rapidamente”, diz Botev.

O CTO também está otimista quanto ao progresso externo na área. Ele aponta para o colaborações com criadores de LLM para construir conjuntos de dados maiores, inferir gráficos de conhecimento de textos e preparar métricas de autoavaliação. No futuro, isto deverá produzir reduções adicionais nas alucinações de IA.

Para Botev, o trabalho tem um propósito crucial.

“É em grande parte uma questão de confiança”, diz ele. “Como os usuários podem aproveitar os benefícios da IA ​​se não confiam no modelo que estão usando para fornecer respostas precisas?”