A OpenAI lançou um pacote de ferramentas voltadas ao combate ao material de abuso sexual infantil, ou CSAM, incluindo um novo classificador de imagens capaz de detectar imagens abusivas, inclusive as geradas por IA. A empresa também está adicionando alertas ao ChatGPT e ampliando seus recursos para desenvolvedores e polícia. A medida surge em meio ao crescimento das preocupações sobre como as ferramentas de IA podem ser usadas de forma indevida.
O que o novo classificador de imagens da OpenAI faz?
O classificador está disponível para empresas selecionadas por meio da API da OpenAI, sem custo. Ele procura sinais visuais de abuso em imagens que nunca viu antes e atribui uma pontuação que ajuda os revisores a decidir como tratar um arquivo.
A OpenAI desenvolveu o classificador com o Centro Nacional para Crianças Desaparecidas e Exploradas, ou NCMEC, e está trabalhando com a Tech Coalition e a ROOST para compartilhar o acesso à ferramenta. Em testes iniciais com parceiros, a empresa afirmou que o classificador sinalizou 48% menos imagens, mantendo a mesma quantidade de imagens abusivas encontradas, o que reduz o trabalho dos revisores humanos. As imagens sinalizadas pela ferramenta também tiveram duas vezes mais probabilidade de serem abusivas.
O que acontece quando usuários do ChatGPT solicitam conteúdo sexual infantil?
O ChatGPT agora exibirá um alerta para usuários que tentarem prompts em busca de conteúdo que sexualize crianças. O aviso os direciona a um suporte especializado, voltado a interromper comportamentos prejudiciais. Os usuários que fizerem essa tentativa também enfrentam a suspensão da conta por 24 horas, como advertência. O aplicativo já bloqueia conteúdo de CSAM e solicitações relacionadas, afirmou a empresa, e reincidências podem levar à remoção permanente da conta.
A OpenAI afirmou que moldou as mensagens e diretrizes com a colaboração de várias organizações e pesquisadores. Entre eles estão a Protect Children, a Fundação Lucy Faithfull e Joel Scanlan, da Universidade da Tasmânia, que avaliou de forma independente um teste das mensagens de dissuasão.
A empresa também está publicando diretrizes para desenvolvedores que usam as ferramentas da OpenAI, com o objetivo de ajudá-los a prevenir, detectar e denunciar CSAM. A OpenAI afirmou que os testes iniciais mostraram que as diretrizes ajudaram vários desenvolvedores a adotar ferramentas de segurança infantil e a se cadastrar para denunciar CSAM ao NCMEC.
Como a OpenAI está apoiando as autoridades policiais contra o CSAM?
Para as autoridades policiais, a OpenAI está oferecendo recursos com IA, como plugins dedicados, ferramentas de investigação e análise de dados complexos. O acesso será gerenciado por administradores de programas. A empresa também está oferecendo treinamento para investigadores, junto com um guia de campo sobre como usar a IA.
O anúncio chega em meio a um cenário de escrutínio. A OpenAI enfrenta vários processos judiciais que acusam sua tecnologia de prejudicar usuários, especialmente crianças. A organização sem fins lucrativos Common Sense Media, focada em segurança, classificou a tecnologia da OpenAI como um "risco inaceitável" para adolescentes. Em separado, outros chatbots de IA, especialmente o Grok, têm sido usados para criar imagens sexualizadas não consensuais, inclusive de crianças.
A OpenAI afirmou que fez várias mudanças nos últimos 12 meses. Elas incluem a divulgação de um plano de segurança, a atualização de suas diretrizes de conteúdo para proibir conteúdo inadequado, o ajuste de seu modelo para impedir a geração de conteúdo prejudicial e o lançamento de uma versão especial do ChatGPT para adolescentes.
Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.