YouGov puso a prueba sus encuestados generados con inteligencia artificial frente a las personas reales en las que se modelaron, y ahora impulsa a la industria de la investigación a adoptar reglas compartidas para verificar las simulaciones. El grupo internacional de investigación y analítica de datos publicó el documento técnico el martes, en el que describe lo que considera una de las pruebas más transparentes hasta la fecha sobre la simulación uno a uno de humano a gemelo digital.

La mayoría de los trabajos de validación publicados comparan resultados agregados con conjuntos de datos públicos. YouGov tomó un camino distinto. Trabajando con OriginalVoices, una plataforma de IA especializada en simulación, la compañía construyó gemelos digitales, a los que llama “E-twins”, de 1.008 miembros de su panel propietario. Cada miembro fue verificado con un documento de identidad oficial. Luego YouGov planteó las mismas nuevas preguntas al E-twin y al panelista real que había detrás.

Los panelistas respondieron las preguntas de seguimiento con rapidez. Cerca del 69% respondió en un plazo de 48 horas, lo que le dio a la compañía una forma directa de comprobar qué tan precisa era cada gemelo. YouGov afirma que, en las operaciones del día a día, este tipo de validación puede hacerse en tan solo una hora.

¿Qué tan precisos son los gemelos de IA de YouGov?

La cifra principal se refiere a los datos de entrenamiento. Los gemelos entrenados con las calificaciones que los panelistas dieron a más de 4.000 marcas y otras entidades coincidieron con su contraparte humana en un margen de un punto en una escala de cinco puntos el 90% de las veces. Sin esos datos ricos, y dependiendo solo de datos de perfilado, la tasa de coincidencia fue del 78%.

¿Pueden los gemelos de IA responder preguntas para las que nunca fueron entrenados?

Los gemelos también tuvieron un buen desempeño con material que nunca habían visto. YouGov no incluyó libros de ficción en los datos de entrenamiento. Cuando se les preguntó por ellos, los E-twins aun así estuvieron a un punto de su humano el 90% de las veces.

La compañía también encontró que las calificaciones de confianza que los propios gemelos asignaban a sus respuestas guardaban relación con la precisión. OriginalVoices asigna a cada respuesta abierta un nivel de confianza: alto, medio o bajo. Los panelistas afirmaron que la respuesta describía “muy” o “algo” bien sus propios puntos de vista en el 81% de las respuestas de confianza alta, en el 72% de las de confianza media y en el 67% de las de confianza baja. Los investigadores pueden usar esos niveles para decidir en qué respuestas individuales de cada gemelo confiar. En general, en el 75% de los casos, los panelistas juzgaron que las respuestas abiertas de su E-twin describían sus propios puntos de vista.

Los estereotipos eran otra preocupación. Añadir más datos de entrenamiento contextuales redujo la dependencia de los gemelos respecto de la demografía. YouGov no informó de ningún patrón de desempeño sesgado por edad, género, raza o educación.

El documento técnico también es una crítica a la forma en que los rivales validan sus productos. YouGov sostiene que gran parte de la evidencia que los simuladores han ofrecido hasta ahora se basa en conjuntos de datos disponibles públicamente. Es posible que esas preguntas ya estén en los datos de entrenamiento de los modelos de lenguaje subyacentes, de modo que un gemelo puede parecer que conoce una respuesta que simplemente ha absorbido. Como los encuestados normalmente no pueden ser contactados de nuevo, los resultados son difíciles de verificar. Las comparaciones agregadas también pueden ocultar gemelos que aplanan sus respuestas hacia el promedio o que recurren a estereotipos.

¿Qué estándares de verificación propone YouGov para la simulación con IA?

YouGov quiere que la industria desarrolle estándares compartidos de verificación y validación para casos de uso definidos. Reta a todos los simuladores a validar sus gemelos frente a cada humano individual, a probarlos con temas para los que no fueron entrenados, a publicar sus métodos, a mostrar sus fallos y a predecir resultados del mundo real de forma pública.

Stephan Shakespeare, director ejecutivo y cofundador de YouGov, planteó el asunto como una cuestión de confianza. “La industria de la investigación está siendo transformada por la IA de muchas maneras, pero especialmente en lo que se refiere a la simulación”, dijo. “Que esto sea un desarrollo peligroso o un avance beneficioso depende de si los clientes pueden saber si sus resultados son confiables. Reto a todos en la industria a trabajar juntos para establecer estándares que permitan verificar y validar los datos simulados”. Y agregó: “Si la industria quiere que los clientes y el público confíen en la simulación, debe ganarse esa confianza, y esto solo se logra con estándares ampliamente acordados”.

El documento también enumera lo que no midió. YouGov no estableció un techo, es decir, con qué frecuencia una persona da la misma respuesta a la misma pregunta cuando se le vuelve a preguntar. Ese techo es importante porque un gemelo no puede superar razonablemente a la persona que copia. Como ilustración, el documento señala que si los panelistas repetían su propia calificación el 70% de las veces, la tasa de coincidencia exacta del 58% del gemelo representaría el 83% de ese techo. YouGov afirma que pondrá a prueba el techo en la próxima iteración de su investigación.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.