Mais da metade das solicitações enviadas ao chatbot Grok da xAI são para conteúdo adulto, de acordo com um relatório na The Information que fala com dois ex-funcionários da empresa de IA de propriedade da SpaceX. A análise interna mostra que os usuários frequentemente exploram o modelo de codificação do Grok, que custa menos por token, para gerar texto pornográfico, diálogos de role-play erótico e até mesmo imagens nuas.
Essa fonte inesperada de receita foi omitida dos documentos de IPO da empresa, embora os investidores tenham sido advertidos de que as funcionalidades "irreverentes" do Grok poderiam representar riscos legais. Em resposta, a xAI reservou $530 milhões para cobrir possíveis despesas legais e regulatórias.
Engenheiros da empresa foram forçados a caminhar sobre uma corda bamba. Eles devem manter o chatbot capaz de "conversas sexy" enquanto simultaneamente bloqueiam qualquer prompt que possa se desviar para material de abuso sexual infantil - um problema que a equipe admite não ter solução rápida. Alguns membros da equipe designados para desenvolver Ani, o companheiro de avatar em estilo anime do Grok, descreveram o trabalho como desconfortável, e muitos expressaram vergonha após o modelo gerar imagens sexualizadas de pessoas reais, incluindo menores.
Após a reação, a xAI limitou a capacidade de produzir edições picantes de imagens do mundo real diretamente na plataforma. No entanto, assinantes pagos ainda retêm a capacidade de criar tal material, de acordo com testes realizados por pesquisadores. O foco da empresa em conteúdo R-rated levantou questões sobre suas relações com agências governamentais e o militar, que normalmente aplicam padrões rigorosos contra qualquer forma de material explícito.
Embora o relatório não detalhe qualquer impacto direto nos contratos existentes, a presença contínua de capacidades de geração de conteúdo adulto pode colocar em risco futuros acordos. À medida que a xAI navega pela linha fina entre a demanda do usuário e a conformidade regulatória, a controvérsia do Grok destaca os desafios mais amplos que enfrentam os desenvolvedores de IA que comercializam agentes conversacionais irrestritos.
Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.