Muitos jornais e grupos de media têm anunciado acordos com a OpenAI, empresa tecnológica criadora do ChatGPT.

Essas parcerias implicam, na maior parte dos casos, o uso do conteúdo editorial para treino do modelo de inteligência artificial (IA), e, em contrapartida, o compromisso de que o ChatGPT cita as fontes de informação usadas para responder aos utilizadores, indicando o link dos artigos originais.

Ora, Andrew Deck, colaborador do Nieman Journalism Lab, que publica artigos sobre o futuro do sector dos media, fez alguns testes e percebeu que, regularmente, o ChatGPT fornece links errados, ou inexistentes, mesmo quando se refere a títulos com os quais a OpenAI estabeleceu acordo.

O jornalista publicou um artigo sobre estas “alucinações” — nome dado aos conteúdos erróneos fabricados pela IA.

Embora deixe a ressalva de que os seus testes não constituem uma auditoria exaustiva ao sistema, o autor do texto também alerta para a necessidade de perceber se este fenómeno está a acontecer em larga escala e de responsabilizar a empresa tecnológica pelos compromissos que tem estabelecido com os jornais.

As “alucinações” nos links

Andrew Deck encontrou links que encaminham para páginas inexistentes ou erradas em respostas relativas a reportagens de, pelo menos, dez publicações com acordos assinados com a OpenAI — The Wall Street Journal, Financial Times, The Times (Reino Unido), Le Monde, El País, The Atlantic, The Verge, Vox, Politico e Associated Press.

“No geral, os meus testes mostram que, actualmente, o ChatGPT não é sequer capaz de encaminhar [os utilizadores], de forma fiável, para as histórias mais notáveis das publicações parceiras”, afirma o autor do artigo.

Por exemplo, relativamente a uma investigação de 2019 do Financial Times sobre um escândalo com um esquema de fraude no mundo do processamento de pagamentos, o ChatGPT foi capaz de fazer um resumo do caso e de indicar a data de publicação da história e o jornal que a divulgou, mas, num primeiro momento, apresentou links para outros sites que não o do Financial Times.

Quando foi pedido ao sistema que indicasse o link da história original, o URL disponibilizado encaminhou para uma página com erro — “The page you are trying to access does not exist” (“A página a que quer aceder não existe”, numa tradução livre).

“Parece que o ChatGPT está a fazer aquilo que a sua função de geração de texto faz melhor: prever a versão mais provável do URL para uma determinada história”, diz Andrew Deck. Contudo, “infelizmente, ficar próximo [do resultado correcto] não é suficiente para um URL”, afirma.

Uma funcionalidade em construção

Embora nem sempre sejam conhecidos os termos dos acordos assinados, é sabido que uma das grandes vantagens das parcerias é a disponibilização de links a encaminhar para os artigos dos jornais.

 “As consultas que surjam da The Atlantic irão incluir citação e um link para ler o artigo completo no theatlantic.com”, lê-se, por exemplo, no comunicado do acordo com esta publicação. Frases semelhantes são usadas noutros comunicados.

Quando questionada sobre o assunto, a OpenAI explicou que a funcionalidade de citação prometida nos acordos ainda não foi lançada.

“Em conjunto com as publicações parceiras, estamos a construir uma experiência que conjugue capacidades conversacionais com o conteúdo noticioso mais recente, assegurando as devidas citações e a referência a links para as fontes — uma experiência ainda em desenvolvimento e não disponível no ChatGPT”, disse Kayla Wood, porta-voz da OpenAI.

A resposta do Financial Times está em linha com esta justificação. “A nova experiência ainda está em desenvolvimento” e “a prioridade deve ser uma experiência melhor com elevada qualidade nas citações, e não rapidez no lançamento [da funcionalidade]”, afirmou Rhonda Taylor, porta-voz do jornal.

O que está em causa

O autor do artigo levanta a hipótese de algumas das falhas poderem dever-se ao facto de os acordos serem relativamente recentes. Efectivamente, várias parcerias foram anunciadas nos últimos dois meses. No entanto, os erros também têm sido verificados com links de parceiros que já assinaram acordo há mais de seis meses, às vezes há um ano.

A maioria dos pedidos de links testados era relativa a reportagens que exigiram muitos recursos para ser realizadas e, por vezes, demoraram anos a ser concluídas. “Estes tipos de história são investimentos editoriais que podem ser incrivelmente valiosos para a reputação de uma marca e, ao mesmo tempo, incrivelmente caros para produzir”, diz o autor do artigo.

“Se um produto usado por mais de 200 milhões de pessoas por mês [ChatGPT] republica o conteúdo destas reportagens sem indicar devidamente o link para a fonte original, o retorno desse investimento editoriais pode ser prejudicado”, conclui o jornalista.

(Créditos da imagem: captura de ecrã da página, com erro, recomendada pelo ChatGPT)