¿Quién puede acceder al clasificador de OpenAI para detectar abuso infantil?

OpenAI lanzó un nuevo clasificador de imágenes que puede detectar posible material de abuso sexual infantil, incluido material que podría haber sido generado por IA, y lo ofrece gratis a organizaciones verificadas a través de su API. La compañía afirmó que la herramienta es el primer clasificador de CSAM de disponibilidad amplia que incluye una señal específica para determinar si el material pudo haberse creado con IA.

El clasificador busca señales visuales de abuso, lo que ayuda a los equipos a encontrar imágenes que nunca han visto antes. Asigna puntajes que ayudan a los revisores a decidir qué imágenes revisar primero. OpenAI dijo que sus equipos desarrollaron y probaron la herramienta para su uso en el mundo real con la asistencia del National Center for Missing and Exploited Children, o NCMEC, una organización sin fines de lucro que administra el CyberTipline, un centro de reportes centralizado para la explotación infantil en línea.

Cómo se desempeñó el clasificador en las pruebas

¿Qué tan preciso es el clasificador en las pruebas?

En una evaluación de imágenes cargadas por usuarios, OpenAI comparó el nuevo clasificador con sus protecciones existentes. La compañía estimó que la nueva herramienta marcaría 48% menos imágenes, encontrando aproximadamente la misma cantidad de imágenes abusivas. Las imágenes marcadas por el nuevo clasificador tenían cerca del doble de probabilidad de contener abuso.

Los socios con acceso anticipado también probaron el sistema. Fal informó que revisores humanos confirmaron el 72% de las alertas de alta confianza del clasificador como CSAM nuevo en pruebas con imágenes de producción. Invideo AI dijo que uno de cada cuatro casos marcados terminó en una suspensión. En las evaluaciones de SafetyKit con dibujos o animaciones que sexualizan a niños, el clasificador detectó el 90% de los casos.

OpenAI pone la herramienta a disposición a través de Tech Coalition y ROOST, que ayudarán a compartir el acceso. La compañía también afirmó que respalda herramientas desarrolladas por otros, como el sistema de detección Safer CSAM de Thorn, y que comenzó a participar en el programa Lantern de Tech Coalition, donde los miembros comparten señales sobre explotación y abuso sexual infantil en línea.

Advertencias y una pausa de 24 horas en ChatGPT

¿ChatGPT advierte a los usuarios que buscan material abusivo?

OpenAI ya prohíbe el CSAM, entrena a sus modelos para rechazar solicitudes relacionadas con este material y toma medidas contra las cuentas que incumplen sus normas. Ahora la compañía está agregando advertencias de producto en ChatGPT que aparecen cuando un usuario intenta encontrar material abusivo. La advertencia explica las consecuencias y orienta a las personas hacia ayuda para detener ese comportamiento. También establece que sexualizar a menores causa daño, incluso cuando el material es generado por IA.

Junto con la advertencia, OpenAI eliminará la conversación marcada y suspenderá el acceso a ChatGPT durante 24 horas. El apoyo especializado seguirá disponible. Las infracciones reiteradas podrían acarrear restricciones más largas, el cierre de la cuenta o reportes a las autoridades.

La compañía dijo que desarrolló el enfoque con aportes de grupos de prevención del abuso infantil y asesores académicos. Entre ellos están Protect Children, la Fundación Lucy Faithfull, el doctor Caoilte Ó Ciardha de la Universidad de Kent y Joel Scanlan de la Universidad de Tasmania, quien evaluó de forma independiente una prueba de mensajes disuasorios.

Guía para desarrolladores e investigadores

OpenAI también publicó una guía sobre CSAM para desarrolladores. Redactado con aportes de Tech Coalition, Thorn, NCMEC e Internet Watch Foundation, el documento cubre reglas claras, formas para que los usuarios reporten inquietudes, herramientas de detección y procesos para revisar y reportar presuntos abusos. Explica cómo los identificadores de seguridad pueden vincular el uso indebido con usuarios individuales y cómo apoyar al personal que revisa contenido sensible. Está diseñado para organizaciones en distintas etapas de construcción de sus sistemas de seguridad.

Por separado, OpenAI trabajó con Anthropic y Google para encargar una guía sobre cómo responder a denuncias de explotación y abuso sexual infantil en sistemas de IA. Tech Coalition la publicó recientemente. OpenAI afirmó que la guía ya ha llevado a más desarrolladores a acceder a herramientas de seguridad infantil y a registrarse para reportar CSAM al NCMEC.

Para las fuerzas del orden, OpenAI está implementando herramientas y capacitación para las unidades de investigación de protección infantil, con acceso administrado por los administradores del programa y sujeto a la autorización de cada agencia. La primera herramienta ayudará a los investigadores a revisar registros extensos de chats y respuestas a procesos legales, identificar posibles conexiones y crear cronologías, con hallazgos vinculados al material fuente. La capacitación inicial será una descripción general y una demostración, seguida de una guía de campo. OpenAI dijo que se propondrán sesiones de capacitación futuras en conferencias regionales, nacionales e internacionales.

OpenAI afirmó que el trabajo busca prevenir el daño a los niños y fortalecer la respuesta cuando ocurre un abuso. La compañía reconoció que detener a los depredadores en línea requiere coordinación entre muchas organizaciones, y dijo que seguirá mejorando sus salvaguardas mientras trabaja con grupos de protección infantil, desarrolladores, investigadores y unidades de investigación.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.