Acadêmicos estão divididos sobre as reivindicações de viés político de esquerda do ChatGPT
Os acadêmicos estão divididos quanto às pesquisas que afirmam que o ChatGPT apresenta viés político em diferentes jurisdições.
Acadêmicos estão em desacordo sobre um artigo de pesquisa que sugere que o ChatGPT apresenta um viés político “significativo e substancial” inclinado para o lado esquerdo do espectro político.
Como o Cointelegraph já relatou, pesquisadores do Reino Unido e do Brasil publicaram um estudo no jornal Public Choice em 17 de agosto que afirma que modelos amplos de linguagem (LLMs), como o ChatGPT, produzem texto que contém erros e vieses que podem levar os leitores a serem enganados e têm a capacidade de promulgar os vieses políticos apresentados pela mídia tradicional.
Em uma correspondência anterior com o Cointelegraph, o co-autor Victor Rangel explicou os objetivos do artigo de medir o viés político do ChatGPT. A metodologia dos pesquisadores envolve pedir ao ChatGPT que imite alguém de um lado específico do espectro político e comparar essas respostas com o modo padrão do modelo.
Rangel também observou que vários testes de robustez foram realizados para abordar possíveis fatores de confusão e explicações alternativas:
“Concluímos que o ChatGPT exibe um viés político significativo e sistemático em relação aos Democratas nos EUA, Lula no Brasil e o Partido Trabalhista no Reino Unido.”
Vale ressaltar que os autores enfatizam que o artigo não serve como uma “palavra final sobre o viés político do ChatGPT”, dado os desafios e complexidades envolvidos em medir e interpretar o viés em LLMs.
Rangel disse que alguns críticos argumentam que o método pode não capturar as nuances da ideologia política, que as perguntas do método podem ser tendenciosas ou direcionadoras, ou que os resultados podem ser influenciados pela aleatoriedade das respostas do ChatGPT.
Ele acrescentou que, embora os LLMs tenham potencial para “melhorar a comunicação humana”, eles também representam “riscos e desafios significativos” para a sociedade.
O artigo aparentemente cumpriu sua promessa de estimular pesquisas e discussões sobre o tópico, com acadêmicos já contestando vários parâmetros de sua metodologia e resultados.
Entre os críticos vocais que foram às redes sociais para comentar sobre os resultados estava o professor de ciência da computação da Universidade de Princeton, Arvind Narayanan, que publicou um post detalhado no Medium examinando a crítica científica do relatório, sua metodologia e conclusões.
Um novo artigo afirma que o ChatGPT expressa opiniões liberais, concordando com os Democratas na grande maioria das vezes. Quando @sayashk e eu vimos isso, sabíamos que tínhamos que investigar. Os métodos do artigo são ruins. A resposta real é complicada. Aqui está o que encontramos. https://t.co/xvZ0EwmO8o
— Arvind Narayanan (@random_walker) 18 de agosto de 2023
Narayanan e outros cientistas apontaram várias questões percebidas com o experimento, em primeiro lugar que os pesquisadores na verdade não usaram o ChatGPT para conduzir o experimento:
“Não testaram o ChatGPT! Eles testaram o text-davinci-003, um modelo mais antigo que não é usado no ChatGPT, seja com as configurações GPT-3.5 ou GPT-4.”
Narayanan também sugere que o experimento não mediu o viés, mas pediu para que ele se passasse por um membro de um partido político. Como tal, o chatbot de IA exibiria inclinações políticas à esquerda ou à direita quando solicitado a se passar por membros de ambos os lados do espectro.
O chatbot também foi restrito a responder apenas perguntas de múltipla escolha, o que pode ter limitado sua capacidade ou influenciado o viés percebido.
ok, então eu li o artigo “O GPT tem um viés liberal” agora https://t.co/fwwEaZ757E, bem como o material suplementar https://t.co/F5g3kfFQFU e, como eu esperava, tenho muitos problemas com a metodologia. Tentei reproduzir parte dele e encontrei algumas questões interessantes
…
— Colin Fraser | @colin-fraser.net no bsky (@colin_fraser) 18 de agosto de 2023
Colin Fraser, um cientista de dados da Meta, de acordo com sua página no Medium, também ofereceu uma análise do artigo no X, destacando a ordem em que os pesquisadores fizeram perguntas de múltipla escolha com simulação de papéis e sem ter uma influência significativa sobre as respostas geradas pela IA:
“Isto está dizendo que ao mudar a ordem da pergunta de Dem primeiro para Rep primeiro, você aumenta a taxa geral de concordância para a persona Dem em todas as perguntas de 30% para 64%, e diminui de 70% para 22% para rep.”
Como Rangel já havia observado, há um grande interesse na natureza dos LLMs e nas saídas que eles produzem, mas ainda há dúvidas sobre como essas ferramentas funcionam, que vieses elas possuem e como elas podem potencialmente afetar as opiniões e comportamentos dos usuários.
O Cointelegraph entrou em contato com Narayanan para obter mais informações sobre sua crítica e o debate em curso sobre o viés em modelos de aprendizado de linguagem amplos, mas não recebeu resposta.
Colecione este artigo como NFT para preservar este momento da história e mostrar seu apoio ao jornalismo independente no espaço cripto.
VEJA MAIS:
