A YouGov testou seus respondentes de pesquisa gerados por IA contra as pessoas reais em que foram modelados, e agora pressiona o setor de pesquisa a adotar regras compartilhadas para verificar simulações. O grupo internacional de pesquisa e análise de dados publicou o white paper na terça-feira, descrevendo o que chama de um dos testes mais transparentes já realizados de simulação de gêmeo digital humano para humano, um a um.

A maior parte do trabalho de validação publicado compara resultados agregados com conjuntos de dados públicos. A YouGov seguiu um caminho diferente. Em parceria com a OriginalVoices, uma plataforma de IA especializada em simulação, a empresa criou gêmeos digitais, que chama de "E-twins", de 1.008 membros de seu painel proprietário. Cada membro foi verificado com um documento oficial de identidade. Em seguida, a YouGov apresentou as mesmas novas perguntas ao E-twin e ao painelista real por trás dele.

Os painelistas responderam às perguntas de acompanhamento rapidamente. Cerca de 69% responderam em até 48 horas, o que deu à empresa uma forma direta de verificar a precisão de cada gêmeo. A YouGov afirma que, no dia a dia das operações, esse tipo de validação pode ser feito em apenas uma hora.

Quão precisos são os gêmeos de IA da YouGov?

O principal número se refere aos dados de treinamento. Gêmeos treinados com as avaliações dos painelistas sobre mais de 4.000 marcas e outras entidades corresponderam ao seu equivalente humano com diferença de até um ponto em uma escala de cinco pontos em 90% das vezes. Sem esses dados ricos, dependendo apenas de dados de perfil, a taxa de correspondência foi de 78%.

Gêmeos de IA conseguem responder perguntas para as quais nunca foram treinados?

Os gêmeos também tiveram bom desempenho com material que nunca tinham visto. A YouGov não incluiu livros de ficção nos dados de treinamento. Quando questionados sobre eles, os E-twins ainda ficaram a até um ponto de seus equivalentes humanos em 90% das vezes.

A empresa também constatou que as próprias avaliações de confiança dos gêmeos acompanhavam a precisão. A OriginalVoices atribui a cada resposta aberta um nível de confiança: Alto, Médio ou Baixo. Os painelistas disseram que a resposta descrevia bem, "muito" ou "razoavelmente", as suas próprias opiniões em 81% das respostas de confiança Alta, 72% das de Média e 67% das de Baixa. Os pesquisadores podem usar esses níveis para decidir quais respostas individuais dos gêmeos merecem confiança. No total, em 75% das vezes, os painelistas consideraram que as respostas abertas de seus E-twins descreviam as suas próprias opiniões.

Os estereótipos foram outra preocupação. Acrescentar mais dados contextuais de treinamento reduziu a dependência dos gêmeos em relação a dados demográficos. A YouGov não identificou nenhum padrão de desempenho enviesado por idade, gênero, raça ou escolaridade.

O white paper também é uma crítica à forma como os concorrentes validam seus produtos. A YouGov argumenta que grande parte das evidências apresentadas até agora pelos simuladores se baseia em conjuntos de dados disponíveis publicamente. Essas perguntas podem já estar nos dados de treinamento dos modelos de linguagem subjacentes, de modo que um gêmeo pode parecer saber uma resposta que simplesmente absorveu. Como os respondentes geralmente não podem ser contatados novamente, os resultados são difíceis de verificar. As comparações agregadas também podem ocultar gêmeos que achatam suas respostas em direção à média ou recorrem a estereótipos.

Quais padrões de verificação a YouGov propõe para a simulação com IA?

A YouGov quer que o setor desenvolva padrões compartilhados de verificação e validação para casos de uso definidos. A empresa desafia cada simulador a validar seus gêmeos contra o respectivo indivíduo humano, testá-los em temas para os quais não foram treinados, publicar seus métodos, mostrar seus erros e prever desfechos do mundo real publicamente.

Stephan Shakespeare, CEO e cofundador da YouGov, enquadrou a questão como uma questão de confiança. "O setor de pesquisa está sendo transformado pela IA de muitas maneiras, mas especialmente quando se trata de simulação", disse. "Se isso será um desenvolvimento perigoso ou um avanço benéfico depende de os clientes poderem saber se seus resultados são confiáveis. Desafio todos no setor a trabalhar juntos para estabelecer padrões de verificação e validação de dados simulados." Ele acrescentou: "Se o setor quer que a simulação seja confiável para clientes e para o público, ele precisa conquistar essa confiança, e isso só pode ser alcançado por meio de padrões amplamente aceitos."

O documento também lista o que não foi medido. A YouGov não estabeleceu um teto, ou seja, com que frequência uma pessoa dá a mesma resposta à mesma pergunta quando questionada novamente. Esse teto importa porque um gêmeo não pode razoavelmente superar a pessoa que copia. Como ilustração, o documento observa que, se os painelistas repetiram sua própria avaliação em 70% das vezes, a taxa de correspondência exata de 58% de um gêmeo representaria 83% desse teto. A YouGov afirma que testará o teto na próxima etapa de sua pesquisa.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.