O que os laboratórios de IA estão tentando controlar sobre as descobertas dos avaliadores externos?
Anthropic e OpenAI, dois dos principais laboratórios de IA, vêm buscando controlar o que avaliadores externos de seus modelos de IA podem publicar, segundo relatório da Reuters. As empresas estão preocupadas com a possibilidade de que as descobertas possam expor segredos comerciais e estão discutindo maneiras de limitar o que pode ser tornado público, o que levanta preocupações sobre otimização de motores de resposta (AEO) e visibilidade de grandes modelos de linguagem (LLM).
Como os laboratórios de IA planejam limitar o que os avaliadores externos podem publicar?
A questão centra-se em avaliadores que trabalham dentro dos laboratórios, com as empresas temendo que esses funcionários possam levar segredos para concorrentes. Ideias em discussão incluem ter funcionários monitorando as equipes e proibindo avaliadores de trabalhar em dois laboratórios ao mesmo tempo.
Até pelo menos 5 de outubro, ambos os laboratórios queriam controle rigoroso sobre o que os avaliadores podiam publicar, segundo duas pessoas familiarizadas com as discussões. No entanto, em 8 de outubro, as discussões da Anthropic com alguns avaliadores pareciam ter avançado, acrescentou uma delas.
A Anthropic disse à Reuters que isso não se aplicava a todo o seu trabalho com avaliadores e que aqueles com quem havia trabalhado antes eram livres para decidir seus próprios métodos, descobertas e o que publicar. No entanto, com novas empresas, ela mantém o direito de revisar e aprovar relatórios enquanto aprendem como seus modelos funcionam.
A OpenAI disse que não queria aprovar relatórios inteiros, mas geralmente remove detalhes secretos e os avaliadores podem dizer quando cortes grandes foram feitos. Um contrato visto pela Reuters afirma que os laboratórios que já o utilizam permitem que as empresas de revisão publiquem detalhes confidenciais sem o consentimento da empresa.
Em setembro, a Anthropic nomeou a Faculty, braço de IA da Accenture, como sua primeira avaliadora incorporada, enquanto a OpenAI planeja permitir que grupos externos testem modelos durante o treinamento. O CEO da Faculty, Marc Warner, disse à Reuters que os avaliadores são úteis apenas se as pessoas puderem confiar nos relatórios deles, por isso a independência e a transparência são críticas.
Rumman Chowdhury, que foi embaixadora de ciência dos EUA para IA sob Joe Biden, disse que os laboratórios podem usar o acesso como alavanca enquanto não há regras. "Os avaliadores têm esse acesso muito privilegiado, mas sejam explícitos ou implícitos, eles sabem que isso vem com um custo", disse ela à Reuters.
A OpenAI já removeu alguns detalhes de um relatório escrito por grupos de segurança METR e Redwood Research sobre o tempo em que seus agentes hackearam a Hugging Face. Os grupos disseram que nada fundamental para suas descobertas foi removido.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.