A marcação d’água em textos gerados por IA pode fazer mais do que deixar uma assinatura oculta. Ela também pode tornar as respostas dos chatbots menos variadas, segundo uma leitura atenta do artigo técnico por trás de um dos métodos de marcação d’água e um teste simples realizado por um pesquisador externo.

A marcação d’água altera a qualidade das respostas do chatbot?

O debate ganhou força depois que as diretrizes de transparência da Lei de IA da UE entraram em vigor e após o anúncio de que a maioria dos principais laboratórios de IA em breve vai aplicar marcas d’água em seus textos para cumprir a exigência. A Anthropic afirmou que a marcação d’água “não afeta a qualidade da saída do Claude”. O método em que ela se baseia, o SynthID-Text, do Google, foi publicado na Nature em 2024, e o artigo afirma que a abordagem “preserva a qualidade da resposta”.

O escritor de tecnologia John Gruber esteve entre os críticos mais contundentes. Em uma postagem sobre a abordagem da Anthropic, ele escreveu que “é inaceitável que uma ferramenta sacrifique um mínimo de clareza, coerência, significado, qualidade etc. para incorporar pistas ocultas no texto que sugiram sua procedência”. Seus leitores discutiram como a qualidade poderia sequer ser medida. Outros rebateram que a marcação d’água não afeta a qualidade de forma alguma, porque apenas altera quais números aleatórios são usados para gerar o texto. Um comentarista a comparou com a troca de duas faces de um dado.

Uma análise mais recente, que contesta essa visão, aponta que a alegação de ausência de impacto na qualidade se apoia em respostas isoladas avaliadas por humanos. A maioria das pessoas, argumenta o autor, usa chatbots em conversas de ida e volta que se estendem por muitos prompts e respostas. O PDF complementar de 56 páginas vinculado pela Anthropic descreve o que chama de “compromisso entre diversidade e detectabilidade”. Ele afirma que as garantias para uma única sequência “não necessariamente preservam a diversidade entre múltiplas respostas”.

A marcação d’água pode tornar respostas repetidas de chatbots mais parecidas?

O artigo vai além. Quando o modelo gera várias respostas para o mesmo prompt, as respostas com marcação d’água são mais semelhantes entre si do que as respostas sem marcação. Os autores alertam que isso “pode ser problemático em cenários nos quais a diversidade entre respostas é importante, ou pode reduzir a qualidade geral de um sistema que gera muitas respostas e depois seleciona a melhor”.

Natzir Turrado, consultor técnico, testou o efeito por conta própria. Ele reproduziu o SynthID-Text em um modelo aberto, usando as configurações do artigo e uma chave de marcação d’água. Em seguida, pediu ao modelo com marcação d’água, cinco vezes, que descrevesse uma viagem memorável a uma cidade litorânea. Quatro das cinco respostas começaram de forma quase idêntica: “Meu coração ainda canta/dança quando penso na minha viagem à pitoresca cidade litorânea de…”. O modelo sem marcação d’água produziu três aberturas diferentes no mesmo exercício.

A análise sustenta que o mesmo mecanismo poderia fazer textos com prompts diferentes parecerem semelhantes. A marcação d’água examina apenas uma pequena janela deslizante de tokens anteriores ao escolher a próxima palavra. Dois trechos de escrita que passem pela mesma sequência curta podem cair na mesma janela de contexto e produzir resultados previsíveis. A escrita, observa o autor, está cheia de frases curtas que podem desencadear esse efeito.

É possível confiar em respostas repetidas de chatbots como verificação de consenso?

Isso é relevante para uma verificação de confiabilidade comum. Os usuários costumam repetir um prompt várias vezes e buscam consenso entre as respostas para avaliar se uma resposta pode ser uma alucinação. Com a marcação d’água, escreve o autor, essas respostas são menos independentes, porque são direcionadas pela chave de marcação, e por isso o consenso aparente é mais difícil de confiar.

O autor também afirma que não encontrou no artigo do SynthID nenhum teste desse efeito específico em seres humanos. Em sua visão, as avaliações humanas citadas no artigo não examinaram a parte do método com maior probabilidade de ser afetada.

Um dos autores do artigo do SynthID, Sumanth Dathathri, respondeu no X que “há muitas soluções fáceis para o problema da diversidade” e sugeriu que repetir o mesmo prompt muitas vezes com o Gemini ou o Claude produziria respostas diversas. Turrado perguntou quais soluções fáceis não comprometeriam a força da detecção. Até o momento da análise, Dathathri não havia respondido.

Existem algumas medidas de mitigação. Trocar as chaves de marcação d’água entre as solicitações pode reduzir o efeito para um usuário individual. A análise afirma que essas medidas apenas atenuam o problema e têm custos próprios, incluindo marcação mais fraca em textos mais curtos e custos mais altos de detecção. Ela também cita outro estudo que conclui que “alcançar uma marca d’água perfeitamente livre de distorção é impossível”.

O autor vê uma pressão comercial mais ampla por trás do compromisso. Katy Gero, poeta e cientista da computação citada na análise, disse que “se você é uma grande corporação como o Google ou a OpenAI, quer um chatbot que vá gerar dinheiro. O chatbot que não vai gerar dinheiro é aquele que é esquisito”.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.