Peça a um assistente de IA uma estatística e você receberá um número, um tom confiante e um link. Se esse link leva à pesquisa por trás do dado é outra questão. Um novo teste com cinco assistentes populares sugere que, em geral, não leva.

Com que frequência os assistentes de IA citam o estudo original por trás de uma estatística?

A Trakkr Research fez ao ChatGPT, ao Perplexity, ao Gemini, ao Claude e aos AI Overviews do Google 200 perguntas que exigiam um número. Em seguida, seguiu as citações de uma amostra aleatória de 1.285 estatísticas, acessando cada página citada até sua fonte e avançando até cinco páginas de profundidade. Quando uma página mencionava uma fonte sem linkar para ela, os pesquisadores faziam a busca manualmente. Apenas 40% dos caminhos chegaram a um estudo que dizia a mesma coisa.

Outros 8% chegaram ao estudo, mas o número havia mudado pelo caminho. Os demais caminhos não levaram a lugar algum útil. Em 40% dos casos, o rastro parou em uma fonte que não podia ser verificada, por estar bloqueada, fora do ar ou silenciosa sobre o dado. Em 11% dos casos, não existia estudo algum em todo o caminho. Todas as páginas repetiam o número e não creditavam ninguém.

O ChatGPT teve o melhor desempenho. Ele apresentou fonte para 57% de suas estatísticas e foi o que menos citou, com média de 1,3 por resposta. O Claude foi o que mais citou, com 6,8 por resposta, e teve fonte identificada em 38% das vezes. O Perplexity ficou com 46%, os AI Overviews com 39% e o Gemini com 38%. Os pesquisadores afirmaram que os quatro assistentes diferentes do ChatGPT estavam próximos demais para serem classificados.

Quais fontes oferecem as estatísticas de IA mais confiáveis?

A primeira página em que o caminho chega faz grande diferença. Os assistentes de IA citaram com mais frequência blogs de empresas, que representaram 54% das primeiras citações, e apenas 37% desses caminhos chegaram a um estudo correspondente. Empresas de pesquisa e páginas governamentais se saíram muito melhor, alcançando um estudo em 62% e 61% das vezes. Apenas 21% das páginas citadas para um número eram pesquisas originais. Ainda assim, a página citada costumava conter o dado. Ela trazia o número em 82% das vezes.

Números que se desviam

Chegar ao estudo original nem sempre significava que o dado se mantinha. Entre as estatísticas que chegaram a um estudo, 17% haviam mudado. Os algarismos em si se alteraram em cerca de um caso em cada quatro. Com mais frequência, mudou o contexto: o que foi medido, o ano, a fonte ou quem foi consultado.

Um exemplo envolveu um estudo de 2004 em que 15 mulheres britânicas avaliaram sites de saúde. A conclusão de que 94% dos comentários delas sobre a rejeição de um site diziam respeito ao design foi depois recontada como a afirmação de que 94% das primeiras impressões de qualquer site estão relacionadas ao design. Os AI Overviews do Google apresentaram isso como fato.

Por que os assistentes de IA dão números diferentes para a mesma pergunta?

Os assistentes também discordaram frequentemente entre si. Em 28 das 71 perguntas em que todos os cinco deram um percentual, as respostas incluíram quatro ou cinco valores diferentes. Quando perguntados quantos profissionais de marketing usam ferramentas de automação de marketing, os cinco deram respostas que variavam de 49% a 96%. O ChatGPT afirmou que o número variava conforme a pesquisa e conforme o que era considerado automação de marketing.

Números que todos os assistentes repetem

A concordância não indicava confiabilidade. Os assistentes deram o mesmo número em 10 perguntas, mas os pesquisadores rastrearam apenas uma pequena parte delas e encontraram apenas duas com fonte. Estatísticas citadas por três ou mais assistentes tiveram desempenho pouco melhor, com 11 de 29 com fonte identificada.

Quatro estatísticas foram citadas pelos cinco assistentes, e os pesquisadores não conseguiram encontrar estudo algum por trás de nenhuma delas. A mais repetida era a afirmação de que 44% dos vendedores desistem após uma tentativa de follow-up. O rastro terminava em um artigo de exemplo de um redator freelancer, publicado online até 2017, que não citava pesquisa alguma. Outra era a afirmação de que 90% dos usuários de redes sociais seguem pelo menos uma marca, apresentada sem qualquer fonte. Uma terceira dizia que 75% dos usuários de buscadores nunca rolam além da primeira página de resultados, frequentemente atribuída a uma antiga compilação de marketing que não contém mais esse dado. A quarta dizia que conquistar um cliente custa de cinco a 25 vezes mais do que mantê-lo. Um artigo da Harvard Business Review de 2014 apresentou essa faixa "dependendo de qual estudo você acredita", sem citar nenhum.

O conselho da Trakkr para quem usa números gerados por IA é tratá-los como pistas, não como fontes. Siga a citação até o fim, verifique quem foi consultado, quantas pessoas responderam e quando, e não considere cinco respostas iguais como cinco confirmações independentes. A empresa também aconselha que editores publiquem, ao lado de qualquer dado, a amostra, a data e um link para a fonte original, para que a próxima página da cadeia possa ser rastreada até eles.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.