Pídale a un asistente de IA una estadística y obtendrá un número, un tono seguro y un enlace. Que ese enlace conduzca a la investigación detrás de la cifra es otro asunto. Una nueva prueba realizada a cinco asistentes populares sugiere que, por lo general, no es así.

¿Con qué frecuencia los asistentes de IA citan el estudio original detrás de una estadística?

Trakkr Research formuló a ChatGPT, Perplexity, Gemini, Claude y las AI Overviews de Google’s 200 preguntas que requerían una cifra. Luego siguió las citas de una muestra aleatoria de 1.285 estadísticas, haciendo clic en cada página citada hasta llegar a su fuente y continuando hasta cinco páginas de profundidad. Cuando una página mencionaba una fuente sin enlazarla, los investigadores la buscaban. Solo el 40 % de los recorridos llegó a un estudio que afirmaba lo mismo.

Otro 8 % llegó al estudio, pero la cifra había cambiado en el camino. Los demás recorridos no llevaron a ningún lugar útil. En el 40 % de los casos, el recorrido se detuvo en una fuente que no pudo verificarse porque estaba bloqueada, había desaparecido o no mencionaba la cifra. En el 11 % de los casos, no existía ningún estudio en todo el recorrido. Todas las páginas repetían el número y no atribuían la cifra a nadie.

ChatGPT tuvo el mejor desempeño. Respaldó el 57 % de sus estadísticas y fue el que menos citó, con un promedio de 1,3 por respuesta. Claude citó más que nadie, con 6,8 por respuesta, y tuvo respaldo en el 38 % de los casos. Perplexity alcanzó el 46 %, las AI Overviews el 39 % y Gemini el 38 %. Los investigadores afirmaron que los cuatro asistentes distintos de ChatGPT estaban demasiado cerca como para establecer un ranking.

¿Qué fuentes ofrecen las estadísticas citadas por IA más confiables?

La primera página a la que llega un recorrido importa mucho. Los asistentes de IA citaron con mayor frecuencia los blogs de empresas, que representaron el 54 % de las primeras citas, y solo el 37 % de esos recorridos llegó a un estudio que coincidiera. Las firmas de investigación y las páginas gubernamentales tuvieron un desempeño mucho mejor, al llegar a un estudio en el 62 % y el 61 % de los casos, respectivamente. Solo el 21 % de las páginas citadas para una cifra eran investigaciones originales. Sin embargo, la página citada generalmente sí contenía la cifra: la tenía en el 82 % de los casos.

Cifras que se desvían

Llegar al estudio original no siempre significaba que la cifra se mantuviera. De las estadísticas que sí llegaron a un estudio, el 17 % había cambiado. Los números en sí se modificaron aproximadamente en uno de cada cuatro casos. Con más frecuencia cambió el contexto: qué se medía, el año, la fuente o a quién se le preguntó.

Un ejemplo involucró un estudio de 2004 en el que 15 mujeres británicas evaluaron sitios web de salud. Su hallazgo de que el 94 % de sus comentarios sobre el rechazo de un sitio se refería al diseño fue reformulado después como la afirmación de que el 94 % de las primeras impresiones de cualquier sitio web están relacionadas con el diseño. Las AI Overviews de Google la presentaron como un hecho.

¿Por qué los asistentes de IA dan cifras distintas para la misma pregunta?

Los asistentes también discreparon a menudo entre sí. En 28 de las 71 preguntas en las que los cinco dieron un porcentaje, las respuestas incluyeron cuatro o cinco cifras diferentes. Cuando se preguntó cuántos especialistas en marketing usan herramientas de automatización de marketing, los cinco dieron respuestas que iban del 49 % al 96 %. ChatGPT señaló que la cifra variaba según la encuesta y según lo que se considerara automatización de marketing.

Cifras que todos los asistentes repiten

El acuerdo no indicaba confiabilidad. Los asistentes dieron la misma cifra en 10 preguntas, pero los investigadores solo rastrearon algunas de ellas y encontraron que apenas dos estaban respaldadas por una fuente. Las estadísticas citadas por tres o más asistentes tuvieron un desempeño apenas mejor, con 11 de 29 respaldadas.

Cuatro estadísticas fueron citadas por los cinco asistentes, y los investigadores no pudieron encontrar un estudio detrás de ninguna de ellas. La más repetida fue la afirmación de que el 44 % de los vendedores se rinde después de un solo intento de seguimiento. El recorrido terminó en un artículo de muestra de un escritor independiente, publicado en línea en 2017, que no citaba ninguna investigación. Otra era la afirmación de que el 90 % de los usuarios de redes sociales sigue al menos una marca, la cual se presentó sin ninguna fuente. Una tercera decía que el 75 % de los buscadores nunca pasa de la primera página de resultados, a menudo atribuida a un antiguo resumen de marketing que ya no contiene esa cifra. La cuarta afirmaba que ganar un cliente cuesta de cinco a 25 veces más que retener uno. Un artículo de 2014 de la Harvard Business Review presentó ese rango “dependiendo del estudio en el que se crea”, pero no nombró ninguno.

El consejo de Trakkr para quienes usan cifras generadas por IA es tratarlas como pistas, no como fuentes. Hay que seguir la cita más allá, verificar a quién se le preguntó, cuántas personas respondieron y cuándo, y no considerar cinco respuestas coincidentes como cinco confirmaciones independientes. La empresa también recomienda a los editores que incluyan junto a cualquier cifra que publiquen la muestra, la fecha y un enlace a la fuente original, para que la siguiente página de la cadena pueda rastrearse hasta ellos.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.