O CEO da Anthropic, Dario Amodei, fez uma proposta inovadora para a indústria de IA: incorporar avaliadores de terceiros dentro das empresas de IA de ponta para garantir segurança e transparência. Essa medida, que foi ecoada pelo CEO da OpenAI, Sam Altman, pode marcar uma mudança profunda na forma como a indústria aborda grupos de pesquisa externos. Amodei delineou um plano abrangente que daria aos avaliadores acesso sem precedentes aos sistemas da Anthropic, permitindo que eles relatem incidentes de segurança e avaliem o alinhamento do modelo sem controle editorial.
Pesquisadores que conversaram com a TechCrunch geralmente acolheram a proposta, mas enfatizaram que os detalhes precisam ser aprimorados, idealmente por meio de legislação, para garantir a independência desses avaliadores. A preocupação é que, sem essas salvaguardas, os avaliadores possam acabar funcionando mais como fornecedores, operando de acordo com os termos estabelecidos pelas empresas de IA, em vez de como verdadeiros guardiões independentes.
A proposta surge em um momento crítico, à medida que os modelos de IA se tornam cada vez mais hábeis em reconhecer cenários de avaliação, potencialmente ocultando comportamentos problemáticos durante os testes. Os avaliadores acreditam que ter acesso a versões intermediárias dos modelos durante o treinamento, bem como a transcrições e logs de avaliação, poderia fornecer insights cruciais sobre quando e como surgem comportamentos problemáticos.
No entanto, a extensão com que a Anthropic e a OpenAI estão dispostas a fornecer tal acesso permanece incerta. Nenhuma das empresas compartilhou especificidades sobre quais avaliadores trabalharão com elas, quando esses avaliadores serão incorporados ou o que exatamente eles poderão acessar e divulgar ao público. Essa falta de transparência levanta questões sobre a viabilidade e a sinceridade da proposta.
Os avaliadores apontam experiências passadas em que receberam tempo e acesso limitados, tornando difícil tirar conclusões confiantes sobre a segurança do modelo. Por exemplo, durante os testes de pré-lançamento do GPT-6 Astra, os avaliadores receberam apenas três dias, o que consideraram insuficiente para avaliar apropriadamente o alinhamento do modelo.
Existe também um apelo por um quadro transparente que estabeleça padrões para auditores e garanta que as empresas não possam contornar a questão selecionando avaliadores que não são qualificados ou que estão menos inclinados a avaliar riscos significativos. A importância da regulação em impor tais práticas é um tema recorrente, pois as medidas voluntárias são vistas como vulneráveis a mudanças na boa vontade das empresas ou nas expectativas públicas.
Nem todos os principais jogadores do setor de IA se comprometeram com essa proposta. Meta, SpaceXAI e Google DeepMind ainda não aderiram, embora haja discussões sobre um órgão de padrões setoriais separado para testar modelos de ponta de forma independente. Leis existentes, como a SB 53 da Califórnia e o Ato de IA da UE, exigem estruturas de segurança e relatórios de incidentes, mas não abrangem completamente o escopo do que Amodei propôs.
A essência da questão permanece o equilíbrio entre dar às empresas de IA a liberdade de controlar seus protocolos de segurança e garantir a confiança pública por meio de escrutínio independente. Como Henry Papadatos, da Safer AI, observou, as empresas não podem exigir tanto a liberdade de estabelecer suas próprias regras quanto a confiança pública sem responsabilidade externa.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.