OpenAI lanzó un paquete de herramientas destinadas a combatir el material de abuso sexual infantil, o CSAM por sus siglas en inglés, que incluye un nuevo clasificador de imágenes capaz de detectar imágenes abusivas, incluidas las generadas por IA. La compañía también está añadiendo advertencias a ChatGPT y ampliando sus recursos para desarrolladores y la policía. La medida llega en medio de crecientes preocupaciones sobre el mal uso que se puede dar a las herramientas de IA.

¿Qué hace el nuevo clasificador de imágenes de OpenAI?

El clasificador está disponible sin costo para empresas seleccionadas a través de la API de OpenAI. Busca señales visuales de abuso en imágenes que nunca antes ha visto y asigna una puntuación que ayuda a los revisores a decidir cómo manejar un archivo.

OpenAI desarrolló el clasificador junto con el Centro Nacional para Niños Desaparecidos y Explotados, o NCMEC por sus siglas en inglés, y trabaja con Tech Coalition y ROOST para compartir el acceso a la herramienta. En las pruebas iniciales con socios, la compañía indicó que el clasificador marcó un 48% menos de imágenes y, aun así, encontró la misma cantidad de imágenes abusivas, lo que reduce la carga de trabajo de los revisores humanos. Las imágenes marcadas por la herramienta también tenían el doble de probabilidad de ser abusivas.

¿Qué sucede cuando los usuarios de ChatGPT solicitan contenido sexual infantil?

ChatGPT ahora mostrará una advertencia a los usuarios que intenten indicaciones que busquen contenido que sexualice a menores. La alerta los dirige hacia apoyo especializado destinado a detener conductas dañinas. Los usuarios que lo intenten también enfrentan una suspensión de la cuenta por 24 horas como advertencia. La aplicación ya bloquea el contenido CSAM y las solicitudes relacionadas con él, dijo la compañía, y las infracciones reiteradas podrían llevar a la eliminación permanente de la cuenta.

OpenAI afirmó que dio forma a los mensajes y las pautas junto con varias organizaciones e investigadores. Entre ellos están Protect Children, la Fundación Lucy Faithfull y Joel Scanlan, de la Universidad de Tasmania, quien evaluó de manera independiente una prueba de los mensajes disuasorios.

La compañía también publica pautas para los desarrolladores que usan las herramientas de OpenAI, destinadas a ayudarles a prevenir, detectar y reportar CSAM. OpenAI indicó que las pruebas iniciales mostraron que las pautas ayudaron a varios desarrolladores a adoptar herramientas de seguridad infantil y a registrarse para reportar CSAM ante el NCMEC.

¿Cómo apoya OpenAI a las autoridades en la lucha contra el CSAM?

Para las autoridades, OpenAI ofrece funciones impulsadas por IA, como complementos dedicados, herramientas de investigación y análisis complejo de datos. El acceso será gestionado por administradores del programa. La compañía también brinda capacitación para investigadores, junto con una guía de campo sobre cómo usar la IA.

El anuncio llega en un contexto de escrutinio. OpenAI enfrenta varias demandas que acusan a su tecnología de perjudicar a usuarios, especialmente a menores. La organización sin fines de lucro Common Sense Media, enfocada en la seguridad, calificó la tecnología de OpenAI como un "riesgo inaceptable" para los adolescentes. Por otro lado, otros chatbots de IA, en particular Grok, han sido utilizados para crear imágenes sexualizadas no consentidas, incluidas imágenes de menores.

OpenAI afirmó que ha realizado varios cambios en los últimos 12 meses. Entre ellos están la publicación de un plan de seguridad, la actualización de sus pautas de contenido para prohibir el contenido inapropiado, el reajuste de su modelo para evitar que genere contenido dañino, y el lanzamiento de una versión especial de ChatGPT para adolescentes.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.