A Anthropic pediu ao governador Gavin Newsom que permita que tribunais bloqueiem modelos de IA que representem um risco sério. Em uma carta de 15 de outubro, noticiada primeiro pelo Politico, a empresa propôs que avaliadores independentes informem os riscos ao procurador-geral da Califórnia, que poderia solicitar uma ordem judicial para suspender o lançamento de um modelo, seu uso interno ou novos trabalhos sobre ele.

A Anthropic informou ao governador da Califórnia, Gavin Newsom, que os tribunais devem ter o poder de bloquear modelos de IA que representem um risco sério. A empresa apresentou seu argumento em uma carta datada de 15 de outubro, noticiada primeiro pelo Politico.

A carta responde a uma ordem executiva assinada por Newsom em setembro. Essa ordem criou um grupo de trabalho encarregado de recomendar, em até dois meses, como fortalecer as leis de segurança em IA da Califórnia. Uma questão em aberto é se os desenvolvedores devem ser obrigados a conseguir desligar seus modelos.

“Quando uma análise constata que um modelo representa um risco sério, o governo deve poder pedir a um tribunal que o bloqueie”, escreveu a Anthropic. Um porta-voz da Anthropic confirmou que a carta é autêntica. O gabinete de Newsom não respondeu imediatamente.

O que a proposta da Anthropic permitiria aos tribunais da Califórnia fazer?

Pela proposta da empresa, avaliadores independentes informariam os riscos ao procurador-geral da Califórnia. Se o procurador-geral identificasse um risco iminente de dano catastrófico, poderia pedir a um tribunal que suspendesse um modelo. Uma ordem judicial poderia interromper seu lançamento, seu uso dentro da empresa ou novos trabalhos sobre ele, segundo o Politico.

A Anthropic também quer que auditores externos de segurança trabalhem dentro das principais empresas de IA. Em vez de pagar os auditores diretamente, as empresas contribuiriam com um fundo administrado pelo estado. Grandes desenvolvedores também publicariam relatórios de risco pelo menos a cada seis meses.

A Anthropic apoia controles de desligamento para modelos de IA?

Em relação aos controles de desligamento, a Anthropic concordou que todas as principais empresas de IA devem conseguir desligar seus modelos rapidamente. Mas a empresa alertou que uma lei focada apenas em desligamentos pode criar uma falsa sensação de segurança. Em vez disso, defendeu medidas mais restritas, como desativar um único agente de IA ou cortar o acesso de um cliente específico.

Em que a posição da OpenAI difere da posição da Anthropic?

A OpenAI enviou suas próprias recomendações a Newsom em 20 de outubro. O Politico informou que a OpenAI defendeu controles de desligamento e auditores internos, mas não apoiou ordens judiciais para bloquear modelos arriscados.

A Anthropic defende um argumento semelhante em Washington. Um projeto de lei federal preliminar que a empresa vem circulando permitiria ao Departamento de Comércio pedir a um tribunal federal que bloqueie o lançamento de um modelo em casos restritos. Parlamentares da Câmara também propuseram a AI Kill Switch Act, que permitiria às autoridades ordenar que empresas de IA desliguem modelos perigosos.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.