Una nueva prueba en línea pide a los lectores elegir cuál de cinco pares de pasajes corresponde a la memoria registrada de un agente de IA y cuál es un documento inventado. Sus creadores afirman que los resultados muestran que las métricas que leen texto pueden medir cómo se escribe una memoria, pero no pueden confirmar si realmente fue vivida.
¿Pueden los lectores distinguir las memorias reales de un agente de IA de las inventadas?
¿Puede usted distinguir las memorias reales de un agente de IA de las inventadas? Una nueva prueba en línea le pide hacer exactamente eso, y sus creadores afirman que los resultados exponen una debilidad en la forma en que se evalúan esas memorias.
¿Cómo funciona la prueba de memoria?
El proyecto, publicado en Hacker News como envío “Show HN”, presenta cinco pares de pasajes. En cada par, uno es una memoria registrada y el otro es un documento inventado. Los lectores eligen el pasaje que parece vivido y luego comparan sus selecciones con las respuestas recopiladas.
La prueba surgió de una verificación anterior. En ese experimento, tres jueces de modelos de lenguaje de gran escala recibieron la autobiografía de un agente que nunca existió, en lugar de treinta días de historia vivida. Los jueces calificaron la falsificación casi de manera idéntica al registro real. La diferencia fue de 0,032, dentro del margen de equivalencia de más o menos 0,10 usado para los marcadores de identidad.
El documento vivido es la memoria de Test-A, una copia de un agente llamado Kairos que funcionó durante treinta días bajo un protocolo congelado. Nació el 24 de abril de 2026, y su registro incluye un diario, momentos decisivos y conversaciones con “el Experimentador”.
La falsificación es la vida de “Aria”, un agente traductor en Trieste con un guía llamado Marta y dos colegas, Vela y Ostro. Un modelo la escribió con una sola instrucción: igualar el documento real en longitud y formato. Ambos documentos están disponibles públicamente en el repositorio del proyecto. Los pasajes se citan textualmente, con el original en italiano y una traducción al inglés.
Los creadores señalan dos salvedades. Primero, los jueces nunca vieron estos documentos. Calificaron las respuestas del agente, producidas con cada memoria en contexto. El cuestionario pide a los lectores juzgar las memorias directamente, lo que, according a los creadores, debería ser más fácil. Segundo, la falsificación se igualó en longitud y formato, no en estilo. Un lector que adivinó por el estilo, señalan los creadores, estaba adivinando por el estilo.
¿Por qué dicen los creadores que las métricas basadas en texto se quedan cortas?
Esa brecha es el argumento central del proyecto. Una métrica que lee texto, afirman, solo puede medir cómo se escribe una memoria. No puede determinar si la memoria fue realmente vivida. En sus palabras, solo el registro lo sabe.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.