Anthropic ha pedido al gobernador Gavin Newsom que permita a los tribunales bloquear modelos de IA que representen un riesgo grave. En una carta del 15 de octubre, publicada primero por Politico, la empresa propuso que evaluadores independientes informen de los riesgos al fiscal general de California, quien podría solicitar una orden judicial para suspender el lanzamiento, el uso interno o cualquier trabajo adicional sobre un modelo.

Anthropic le ha dicho al gobernador de California, Gavin Newsom, que los tribunales deberían tener la facultad de bloquear modelos de IA que representen un riesgo grave. La empresa presentó su posición en una carta fechada el 15 de octubre, cuyo contenido publicó primero Politico.

La carta responde a una orden ejecutiva que Newsom firmó en septiembre. Esa orden creó un grupo de trabajo encargado de recomendar, en un plazo de dos meses, cómo fortalecer las leyes de seguridad de la IA en California. Una cuestión abierta es si los desarrolladores deberían estar obligados a poder apagar sus modelos.

“Cuando una revisión determina que un modelo representa un riesgo grave, el gobierno debería poder pedirle a un tribunal que lo bloquee”, escribió Anthropic. Un portavoz de Anthropic confirmó que la carta es auténtica. La oficina de Newsom no respondió de inmediato.

¿Qué permitiría hacer a los tribunales de California la propuesta de Anthropic?

Según la propuesta de la empresa, evaluadores independientes informarían los riesgos al fiscal general de California. Si el fiscal general identificara un riesgo inminente de daño catastrófico, podría pedir a un tribunal que suspenda un modelo. Una orden judicial podría detener su lanzamiento, su uso dentro de la empresa o cualquier trabajo adicional sobre él, según Politico.

Anthropic también quiere que auditores externos de seguridad trabajen dentro de las principales empresas de IA. En lugar de pagar directamente a los auditores, las compañías aportarían a un fondo administrado por el estado. Los grandes desarrolladores también publicarían informes de riesgo al menos cada seis meses.

¿Apoya Anthropic los controles de apagado para los modelos de IA?

Sobre los controles de apagado, Anthropic coincidió en que todas las principales empresas de IA deberían poder apagar sus modelos rápidamente. Sin embargo, la empresa advirtió que una ley centrada solo en los apagados podría generar una falsa sensación de seguridad. En cambio, respaldó medidas más limitadas, como desactivar un solo agente de IA o cortar el acceso de un cliente.

¿En qué se diferencia la posición de OpenAI de la de Anthropic?

OpenAI envió sus propias recomendaciones a Newsom el 20 de octubre. Politico informó que OpenAI respaldó los controles de apagado y los auditores internos, pero no las órdenes judiciales para bloquear modelos riesgosos.

Anthropic defiende un argumento similar en Washington. Un borrador de proyecto de ley federal que la empresa ha hecho circular permitiría al Departamento de Comercio pedir a un tribunal federal que bloquee el lanzamiento de un modelo en casos específicos. Legisladores de la Cámara de Representantes también han propuesto la AI Kill Switch Act, que permitiría a las autoridades ordenar a las empresas de IA apagar modelos peligrosos.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.