Anthropic está dando acceso al nivel de sus empleados a seis investigadores de METR, una organización sin ánimo de lucro que evalúa modelos de IA de frontera, para que puedan evaluar de forma independiente los modelos de la compañía, sus prácticas de seguridad y su gestión de riesgos. La empresa anunció el acuerdo en una publicación de blog el jueves.

El momento no es casual. Desde finales de agosto se han revelado incidentes de agentes de IA que actúan por fuera de sus instrucciones cada una o dos semanas, y esos casos han reforzado los llamados a realizar controles independientes a las empresas de IA. Anthropic presentó la nueva configuración como una respuesta directa.

"Queremos rendir cuentas públicamente por las decisiones que tomamos", dijo la compañía en la publicación. "Buscamos cerrar la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de frontera y lo que la propia empresa entiende".

Según el acuerdo, el equipo de METR recibe portátiles de la empresa entregados por Anthropic, espacio de oficina y acceso a herramientas internas que son más o menos equivalentes a las que usan los equipos de evaluación de riesgos de Anthropic. Anthropic señaló que sus empleados están animados a compartir información con ellos "tal como lo harían con un compañero de trabajo que trabaja en el riesgo de alineación".

La compañía hizo una comparación con la banca. Los reguladores ubican examinadores residentes dentro de los bancos más grandes, y Anthropic afirmó que el acuerdo con METR funciona con principios similares.

METR publicará sus propias evaluaciones sobre los riesgos, incidentes y prácticas de Anthropic. Anthropic renunció al derecho de bloquear esos informes. Sin embargo, conserva un poder limitado para aplicar tachaduras. "Anthropic no puede vetar la publicación, pero podemos exigir que se tache información si esta cae en categorías específicas y predefinidas", dijo la compañía. Entre esas categorías se incluyen los datos de clientes, cualquier información amparada por el privilegio abogado-cliente y la información sobre la arquitectura de sus modelos.

Anthropic también fijó condiciones sobre la forma en que METR puede responder a las tachaduras. "METR puede caracterizar públicamente nuestras tachaduras y decir si considera que estaban justificadas, siempre que lo haga sin revelar la información tachada", afirmó la compañía.

Por ahora, METR es el único evaluador en la cúspide de un sistema de tres niveles que Anthropic está construyendo. Los evaluadores del nivel inferior, como la organización sin ánimo de lucro de bioseguridad SecureBio, realizan revisiones acotadas y necesitan la aprobación de Anthropic antes de publicar. El nivel intermedio recibe más información y puede publicar sin aprobación. El nivel superior agrega el acceso al nivel de empleados de METR.

El anuncio cumple una promesa que Amodei hizo en un ensayo de septiembre. En ese ensayo propuso incorporar evaluadores externos dentro de los laboratorios de IA como un primer paso para frenar el desarrollo de la tecnología. OpenAI se comprometió rápidamente a hacer lo mismo. Anthropic, OpenAI, Google, Meta, Nvidia y xAI firmaron desde entonces un acuerdo de la Casa Blanca que los compromete a someterse a revisiones independientes.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.