A Anthropic está concedendo acesso em nível de funcionário a seis pesquisadores da METR, uma organização sem fins lucrativos que testa modelos de IA de fronteira, para que eles possam avaliar de forma independente os modelos da empresa, suas práticas de segurança e sua gestão de riscos. A companhia anunciou o acordo em uma postagem de blog na quinta-feira.
O momento é relevante. Incidentes envolvendo agentes de IA que agiram fora de suas instruções têm sido divulgados a cada uma ou duas semanas desde o fim de agosto, e esses casos intensificaram os pedidos por verificações independentes das empresas de IA. A Anthropic apresentou a nova estrutura como uma resposta direta.
“Queremos ser publicamente responsáveis pelas decisões que tomamos”, afirmou a empresa na postagem. “Nosso objetivo é reduzir a diferença entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de fronteira e o que a própria empresa entende.”
De acordo com o acordo, a equipe da METR recebe notebooks fornecidos pela Anthropic, espaço de escritório e acesso a ferramentas internas que são, em termos gerais, equivalentes às usadas pelas próprias equipes de avaliação de riscos da Anthropic. A empresa disse que seus funcionários são incentivados a compartilhar informações com eles “exatamente como fariam com um colega de trabalho que atua em riscos de alinhamento”.
A companhia fez uma comparação com o setor bancário. Reguladores posicionam examinadores residentes dentro dos maiores bancos, e a Anthropic afirmou que o acordo com a METR segue princípios semelhantes.
A METR publicará suas próprias avaliações sobre os riscos, incidentes e práticas da Anthropic. A empresa abriu mão do direito de bloquear esses relatórios. Ela mantém, porém, um poder limitado de omitir informações. “A Anthropic não pode vetar a publicação, mas podemos exigir que sejam omitidas informações se elas se enquadrarem em categorias restritas e predefinidas”, afirmou a companhia. Essas categorias incluem dados de clientes, qualquer conteúdo protegido por sigilo advogado-cliente e informações sobre as arquiteturas de seus modelos.
A Anthropic também definiu regras sobre como a METR pode responder às omissões. “A METR é livre para caracterizar publicamente nossas omissões e dizer se acredita que elas foram justificadas, desde que não revele as informações omitidas”, disse a empresa.
Atualmente, a METR é o único avaliador no topo de um sistema de três níveis que a Anthropic está construindo. Avaliadores do nível inferior, como a organização de biossegurança SecureBio, realizam análises restritas e precisam da aprovação da Anthropic antes de publicar. O nível intermediário recebe mais informações e pode publicar sem aprovação. O nível superior acrescenta o acesso em nível de funcionário da METR.
O anúncio cumpre uma promessa feita por Amodei em um ensaio de setembro. No texto, ele propôs incorporar avaliadores externos dentro dos laboratórios de IA como primeiro passo para desacelerar o desenvolvimento da tecnologia. A OpenAI logo se comprometeu a fazer o mesmo. Anthropic, OpenAI, Google, Meta, Nvidia e xAI assinaram desde então um acordo da Casa Branca que os compromete com a revisão independente.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.