Um novo estudo do Tow Center for Digital Journalism da Universidade de Columbia revela sérios problemas com a citação de fontes de notícias pelo ChatGPT. Os pesquisadores testaram 200 citações de notícias de 20 editores e descobriram que até 76,5% das citações do ChatGPT continham erros ou erros parciais e raramente reconheciam informações ausentes. Este estudo levantou preocupações sobre a fiabilidade dos serviços de pesquisa de inteligência artificial e levantou questões sobre a segurança das aplicações de inteligência artificial no domínio da divulgação de notícias. As suas conclusões têm importantes implicações de alerta tanto para os meios de comunicação social como para as empresas de inteligência artificial.
Uma nova pesquisa do Tow Center for Digital Journalism da Universidade de Columbia soa o alarme para os serviços de busca de inteligência artificial. A pesquisa mostra que o ChatGPT tem sérios problemas de precisão ao citar fontes de notícias, mesmo para editores que trabalham diretamente com OpenAI. A equipe de pesquisa realizou testes abrangentes em 200 citações de notícias de 20 editores diferentes, e os resultados foram chocantes: em 153 desses casos, o ChatGPT tinha informações de origem incorretas ou parcialmente incorretas. Ainda mais preocupante, o sistema raramente admitia proativamente que faltava informação, admitindo apenas em sete tentativas que não conseguia encontrar a fonte.
Os pesquisadores apontaram que para manter a experiência do usuário, o ChatGPT prefere inventar respostas do que admitir falta de informação. O que é mais grave é que o sistema apresenta estas fontes falsas com uma confiança perturbadora, não mostrando qualquer incerteza. Mesmo editoras conhecidas como o New York Post e o The Atlantic, que têm parcerias diretas com a OpenAI, não estão imunes a este problema. Em alguns casos, o ChatGPT chegou a criar links para sites que copiavam artigos inteiros sem autorização, em vez da fonte original.
O editor-chefe da MIT Technology Review, Matt Honan, comentou sobre isso: "Como editores, esta definitivamente não é uma situação que queremos ver, e as soluções disponíveis neste momento são extremamente limitadas."
A OpenAI tem sido relativamente cautelosa na sua resposta a estas descobertas preocupantes. A empresa enfatizou que o ChatGPT atende 250 milhões de usuários todas as semanas e disse que está trabalhando com parceiros para melhorar a precisão das citações.
A conclusão final do estudo é clara: neste momento, os editores não têm garantia de que o ChatGPT Search exibirá seu conteúdo com precisão, independentemente de terem parceria com a OpenAI. Esta descoberta irá, sem dúvida, promover uma maior discussão e melhoria da fiabilidade das informações de inteligência artificial.
As descobertas são preocupantes e destacam a importância do pensamento crítico e da verificação de factos quando se confia na tecnologia de inteligência artificial para obter informações. No futuro, a supervisão e a melhoria dos modelos de inteligência artificial devem ser ainda mais reforçadas para garantir que as informações que fornecem são precisas e fiáveis e para evitar induzir o público em erro.