Veja como a OpenAI planeja limpar o ChatGPT de informações falsas
A OpenAI visa reduzir as alucinações de IA no ChatGPT, aprimorando as habilidades matemáticas, pois a supervisão do processo se mostra promissora em melhorar a precisão.
Em 31 de maio, a OpenAI anunciou seus esforços para melhorar as capacidades do ChatGPT na resolução de problemas matemáticos, com o objetivo de reduzir instâncias de alucinações de inteligência artificial (IA). A OpenAI enfatizou a mitigação das alucinações como um passo crucial para o desenvolvimento de IA alinhada.
Em março, a introdução da última versão do ChatGPT – ChatGPT-4 – impulsionou ainda mais a IA para o mainstream. No entanto, chatbots de IA generativos há muito lutam com a precisão factual, ocasionalmente gerando informações falsas, comumente referidas como “alucinações”. Os esforços para reduzir essas alucinações de IA foram anunciados por meio de uma postagem no site da OpenAI.
Alucinações de IA referem-se a casos em que os sistemas de inteligência artificial geram saídas factualmente incorretas, enganosas ou não apoiadas por dados do mundo real. Essas alucinações podem se manifestar de várias formas, como gerar informações falsas, inventar eventos ou pessoas inexistentes, ou fornecer detalhes imprecisos sobre certos tópicos.
A OpenAI conduziu pesquisas para examinar a eficácia de dois tipos de feedback: “supervisão de resultado” e “supervisão de processo”. A supervisão de resultado envolve feedback baseado no resultado final, enquanto a supervisão de processo fornece entrada para cada etapa em uma cadeia de pensamento. A OpenAI avaliou esses modelos usando problemas de matemática, gerando múltiplas soluções e selecionando a solução mais bem classificada de acordo com cada modelo de feedback.
Após uma análise detalhada, a equipe de pesquisa descobriu que a supervisão de processo produziu um desempenho superior, pois incentivou o modelo a aderir a um processo aprovado pelo humano. Em contraste, a supervisão de resultado provou ser mais desafiadora para ser consistentemente analisada.
A OpenAI reconheceu que as implicações da supervisão de processo vão além da matemática, sendo necessário mais investigação para entender seus efeitos em diferentes domínios. Ela expressou a possibilidade de que, se os resultados observados se mantiverem em contextos mais amplos, a supervisão de processo poderia oferecer uma combinação favorável de desempenho e alinhamento em comparação com a supervisão de resultado. Para facilitar a pesquisa, a empresa divulgou publicamente o conjunto completo de dados de supervisão de processo, convidando exploração e estudo nesta área.
Embora a OpenAI não tenha fornecido instâncias explícitas que motivaram sua investigação sobre alucinações, duas ocorrências recentes exemplificaram o problema em cenários da vida real.
Em um incidente recente, o advogado Steven Schwartz no caso Mata vs. Avianca Airlines reconheceu que dependia do chatbot como recurso de pesquisa. No entanto, as informações fornecidas pelo ChatGPT acabaram sendo totalmente fabricadas, destacando o problema em questão.
O ChatGPT da OpenAI não é o único exemplo de sistemas de inteligência artificial que encontram alucinações. Durante uma demonstração de sua tecnologia de chatbot em março, o chatbot Bing AI da Microsoft examinou relatórios de ganhos e gerou números imprecisos para empresas como Gap e Lululemon.
VEJA MAIS:
