Diez empresas de IA, entre ellas OpenAI, Anthropic, Microsoft y Mistral, firmaron una nueva declaración sobre la seguridad de los modelos avanzados de inteligencia artificial. El Llamado de París para la Seguridad y Protección de la IA fue acordado el lunes en una reunión presidida por el presidente francés Emmanuel Macron. Los críticos dicen que no va lo suficientemente lejos.

Macron dijo que la inteligencia artificial avanza rápidamente y representa “riesgos reales para nuestra seguridad colectiva”. Pidió a los gobiernos y a las empresas que trabajen juntos para enfrentar esos riesgos. En una publicación en redes sociales, afirmó que la reunión reunió a cerca de 50 personas, entre ellas jefes de Estado y de gobierno, líderes de los principales laboratorios de IA, investigadores y expertos, algunos presentes en París y otros por videoconferencia.

Los firmantes incluyen a Hugging Face, Cohere, Black Forest Labs, Domyn, Sakana AI y Synthesia, además de las cuatro empresas más conocidas. Seis países también firmaron: Francia, Canadá, Finlandia, Noruega, Países Bajos y Baréin. La organización de seguridad en IA de Yoshua Bengio, LawZero, figura entre los grupos de investigación que respaldan la iniciativa.

El director ejecutivo de OpenAI, Sam Altman, el director ejecutivo de Anthropic, Dario Amodei, y el presidente de Microsoft, Brad Smith, participaron en las discusiones por videoconferencia. El secretario del Tesoro de Estados Unidos, Scott Bessent, también asistió, pero Estados Unidos no está entre los firmantes. Google, Meta y China tampoco han firmado.

¿Qué exige el Llamado de París para la Seguridad de la IA?

Según la declaración, las empresas se han comprometido a desarrollar mecanismos a prueba de fallos que puedan apagar sus modelos de IA, incluso durante el entrenamiento y el uso interno. También se comprometieron a ofrecer información más clara sobre lo que sus sistemas pueden y no pueden hacer, y a permitir que expertos independientes calificados los pongan a prueba cuando sea pertinente.

El documento pide un enfoque compartido para evaluar y gestionar los riesgos de la IA de frontera. Esos riesgos incluyen usos malintencionados, como ciberataques y desarrollo de armas, así como la posibilidad de que los sistemas de IA actúen de forma independiente o escapen al control humano. Los resultados de pruebas que no sean sensibles se publicarían en un formato común. Los gobiernos y las empresas también compartirían alertas tempranas sobre incidentes graves, y los denunciantes recibirían canales seguros para reportar sus inquietudes.

¿Por qué los críticos dicen que el Llamado de París carece de fuerza?

CeSIA, que firmó la declaración, la ha criticado de todos modos. El grupo afirma que el texto no establece umbrales comunes de riesgo para decidir si un modelo debe desarrollarse o publicarse. Tampoco garantiza que los evaluadores independientes o los gobiernos tendrán acceso a los sistemas que necesitan para evaluar.

CeSIA quiere que los gobiernos tengan la autoridad para suspender un modelo cuando sus riesgos se vuelvan demasiado altos. El grupo sostiene que los desarrolladores necesitan obligaciones más claras y un cronograma para cumplirlas.

“Estas decisiones deben recaer en las autoridades públicas”, dijo Charbel-Raphaël Ségerie, director ejecutivo de CeSIA.

El Llamado de París sigue a una iniciativa que Noruega y Finlandia lanzaron en septiembre para someter la IA de frontera a una mayor supervisión. Francia se unió después a ese esfuerzo. La declaración también se basa en compromisos de seguridad previos que las empresas de IA asumieron en Seúl, y en las discusiones de la cumbre del G7 que Francia acogió en Evian.

La declaración sigue abierta a otros firmantes, pero no fija plazos. El marco de pruebas compartido que propone aún no se ha desarrollado.

El martes, el foro se centró en otra preocupación de Macron: cómo afecta la IA a los niños. En una cumbre sobre la infancia en la era de la IA, pidió que las herramientas de IA pasen por controles antes de estar disponibles para los jóvenes usuarios.

“Vamos a impulsar la precertificación de todas las soluciones de inteligencia artificial”, dijo.

Macron comparó la idea con los controles de seguridad que se exigen a los juguetes para niños. Argumentó que los padres no le darían a un niño un juguete sin probar, y que las herramientas de IA deberían cumplir el mismo estándar. También advirtió que los efectos de la IA en la salud mental de los jóvenes ya se están haciendo visibles, a medida que más niños y adolescentes recurren a chatbots que pueden influir en sus emociones y en su forma de ver el mundo. Una carta sobre una IA más segura para los niños estaba programada para firmarse más tarde el martes.

Macron también recibió un informe de un grupo de expertos designado por el gobierno. Titulado “Proteger sin impedir”, examina la IA generativa y la vulnerabilidad humana.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.