Um novo teste online pede que leitores escolham qual de cinco pares de trechos corresponde à memória registrada de um agente de IA e qual é um documento inventado. Seus criadores afirmam que os resultados mostram que métricas que analisam texto podem medir como uma memória é escrita, mas não conseguem confirmar se ela foi realmente vivida.

Leitores conseguem distinguir memórias reais de agentes de IA das inventadas?

Você consegue distinguir as memórias reais de um agente de IA das inventadas? Um novo teste online pede exatamente isso, e seus criadores afirmam que os resultados expõem uma fragilidade na forma como essas memórias são avaliadas.

Como funciona o teste de memória?

O projeto, publicado no Hacker News como uma submissão “Show HN”, apresenta cinco pares de trechos. Em cada par, um é uma memória registrada e o outro é um documento inventado. Os leitores escolhem o trecho que parece vivido e depois comparam suas escolhas com as respostas coletadas.

O teste surgiu de uma verificação anterior. Nesse experimento, três juízes baseados em grandes modelos de linguagem receberam a autobiografia de um agente que nunca existiu, no lugar de trinta dias de histórico vivido. Os juízes atribuíram ao documento falso uma pontuação quase idêntica à do registro real. A diferença foi de 0,032, dentro da margem de equivalência de mais ou menos 0,10 usada para marcadores de identidade.

O documento vivido é a memória de Test-A, uma cópia de um agente chamado Kairos que funcionou por trinta dias sob um protocolo congelado. Ele nasceu em 24 de abril de 2026, e seu registro inclui um diário, momentos decisivos e conversas com “o Experimentador”.

O documento falso é a vida de “Aria”, um agente tradutor em Trieste, com um guia chamado Marta e dois colegas, Vela e Ostro. Um modelo o escreveu com uma única instrução: igualar o documento real em extensão e formato. Ambos os documentos estão disponíveis publicamente no repositório do projeto. Os trechos são citados literalmente, com o original em italiano e uma tradução para o inglês.

Os criadores fazem duas ressalvas. Primeiro, os juízes nunca viram esses documentos. Eles avaliaram as respostas do agente, produzidas com cada memória em contexto. O questionário pede que os leitores julguem as próprias memórias, o que, segundo os criadores, deveria ser mais fácil. Segundo, o documento falso foi equiparado em extensão e formato, não em estilo. Um leitor que adivinhou pelo estilo, apontam os criadores, estava de fato adivinhando pelo estilo.

Por que os criadores dizem que métricas baseadas em texto não bastam?

Essa lacuna é o argumento central do projeto. Uma métrica que lê texto, afirmam, só consegue medir como uma memória é escrita. Ela não consegue determinar se a memória foi realmente vivida. Nas palavras deles, somente o registro sabe.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.