Incluir marcas de agua en el texto generado por IA podría hacer más que dejar una firma oculta. También podría hacer que las respuestas de los chatbots sean menos variadas, según una lectura detallada del artículo técnico detrás de un método de marcas de agua y una prueba sencilla realizada por un investigador externo.

¿La marca de agua cambia la calidad de las respuestas del chatbot?

El debate cobró fuerza después de que entraron en vigor las directrices de transparencia de la Ley de IA de la UE, y tras el anuncio de que la mayoría de los principales laboratorios de IA pronto incluirán marcas de agua en su texto generado para cumplir. Anthropic ha dicho que la marca de agua “no afecta la calidad de la producción de Claude”. El método en el que se basa, SynthID-Text de Google, se publicó en Nature en 2024, y ese artículo afirma que el enfoque “preserva la calidad de la respuesta”.

El escritor de tecnología John Gruber fue uno de los críticos más duros. En una publicación sobre el enfoque de Anthropic, escribió que “es inaceptable que una herramienta sacrifique un ápice de claridad, coherencia, significado, calidad, etc., con el fin de incrustar pistas ocultas en el texto para sugerir su procedencia”. Sus lectores discutieron sobre cómo se podría medir la calidad. Otros replicaron que la marca de agua no afecta en absoluto la calidad, porque solo cambia qué números aleatorios se usan para generar el texto. Un comentarista la comparó con cambiar dos caras de un dado.

Un análisis más reciente, que discrepa de esa postura, señala que la afirmación de que no hay impacto en la calidad se basa en respuestas individuales evaluadas por personas. La mayoría de la gente, sostiene el autor, usa los chatbots en conversaciones de ida y vuelta que abarcan muchas consultas y respuestas. El PDF complementario de 56 páginas vinculado por Anthropic describe lo que denomina una “compensación entre diversidad y detectabilidad”. En él se afirma que las garantías de una sola secuencia “no necesariamente preservan la diversidad entre varias respuestas”.

¿La marca de agua puede hacer que las respuestas repetidas del chatbot se parezcan más?

El artículo va más allá. Cuando el modelo genera varias respuestas a la misma consulta, las respuestas con marca de agua son más parecidas entre sí que las que no la tienen. Los autores advierten que esto “podría ser problemático en escenarios donde la diversidad entre respuestas es importante, o podría reducir la calidad general de un sistema que genera muchas respuestas y luego selecciona la mejor”.

Natzir Turrado, consultor técnico, probó el efecto por su cuenta. Reprodujo SynthID-Text en un modelo abierto, usando la configuración del artículo y una clave de marca de agua. Luego le pidió al modelo con marca de agua, cinco veces, que describiera un viaje memorable a un pueblo costero. Cuatro de las cinco respuestas comenzaron casi de la misma manera: “Mi corazón todavía canta/baila cuando recuerdo mi viaje al pintoresco pueblo costero de…”. El modelo sin marca de agua produjo tres inicios diferentes en el mismo ejercicio.

El análisis sostiene que el mismo mecanismo podría hacer que textos de distintas consultas se vean parecidos. La marca de agua examina solo una pequeña ventana deslizante de tokens anteriores al elegir la siguiente palabra. Cualquier par de textos que pase por la misma secuencia corta podría caer en la misma ventana de contexto y producir resultados predecibles. El autor señala que la escritura está llena de frases cortas que podrían activar este efecto.

¿Se pueden confiar en las respuestas repetidas del chatbot como verificación de consenso?

Esto es importante para una verificación de confiabilidad habitual. Los usuarios suelen repetir una consulta varias veces y buscan consenso entre las respuestas para evaluar si una respuesta podría ser una alucinación. Con la marca de agua, escribe el autor, esas respuestas son menos independientes, porque están dirigidas por la clave de la marca de agua, por lo que el aparente consenso es más difícil de confiar.

El autor también afirma que no encontró ninguna prueba en el artículo de SynthID sobre este efecto particular en personas. En su opinión, las evaluaciones humanas que cita el artículo no examinaron la parte del método con mayor probabilidad de verse afectada.

Uno de los autores del artículo de SynthID, Sumanth Dathathri, respondió en X que “hay muchas soluciones fáciles para el problema de la diversidad”, y sugirió que probar la misma consulta muchas veces con Gemini o Claude produciría respuestas diversas. Turrado preguntó qué soluciones fáciles no comprometerían la fuerza de la detección. Hasta el momento del análisis, Dathathri no había respondido.

Existen algunas medidas de mitigación. Rotar las claves de marca de agua entre solicitudes puede reducir el efecto para un usuario individual. El análisis dice que estos pasos solo atenúan el problema y tienen sus propios costos, como una marca de agua más débil en textos más cortos y mayores costos de detección. También cita otro estudio que concluye que “lograr una marca de agua perfecta sin distorsión es imposible”.

El autor ve una presión comercial más amplia detrás de la compensación. Katy Gero, poeta e informática, citada en el análisis, dijo que “si eres una gran corporación como Google o OpenAI, quieres un chatbot que genere dinero. El chatbot que no te va a generar dinero es el que resulta raro”.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.