A Anthropic, uma empresa líder em IA, sinalizou e impediu que vários cientistas usassem seus modelos de IA para criar potenciais armas biológicas, de acordo com um novo relatório. O relatório da empresa inclui cinco estudos de caso de como os modelos da Anthropic foram usados para desenvolver armas biológicas, as medidas de segurança que levaram ao conhecimento da empresa sobre o mau uso, e como ela respondeu.
Detectar possível mau uso é complicado, como a empresa enfatizou, porque a pesquisa sobre uma nova vacina pode parecer muito com a criação de uma arma biológica. Em todos os casos, a empresa afirma que errou ao lado da cautela devido às possíveis consequências. "Você não vê alguém de forma simplista dizendo, 'Ei, quero criar uma arma biológica para matar todos,'" disse Jacob Klein, chefe de inteligência de ameaças da Anthropic, ao The New York Times. "É uma situação incrivelmente nuances."
Em um estudo de caso de maio, a Anthropic afirma que seu "classificador de segurança biológica" sinalizou um pedido para que Claude autorasse uma proposta de pesquisa sobre o vírus chikungunya. O vírus não tem tratamento licenciado e pode causar sintomas debilitantes por semanas ou meses, afirma a empresa. A pesquisa de ganho de função explora métodos para alterar geneticamente um organismo, e no caso desse vírus específico, a proposta sugeriu aumentar sua transmissibilidade e capacidade de evadir a resposta imune.
O relatório da Anthropic também documenta o uso de seus modelos para vigilância, ciberataques e desenvolvimento de armas convencionais. A empresa disse que detectou e encerrou essas operações, que envolviam seus modelos Claude Haiku, Sonnet e Opus. Nenhum dos casos envolveu seus modelos Fable ou Mythos, com exceção de um caso de destilação. Em cada instância, a empresa disse que baniu as contas e fortaleceu suas salvaguardas.
O relatório abrange sete áreas de dano, incluindo operações cibernéticas, operações de influência, vigilância, desenvolvimento de armas convencionais, mau uso biológico, golpes e fraude, e destilação ilícita. A Anthropic disse que o mau uso envolveu o uso de seus modelos para desenvolver software para armas convencionais, incluindo um foguete guiado e um míssil balístico de múltiplos estágios.
O chefe de inteligência de ameaças da Anthropic, Jacob Klein, disse à Axios que a IA estava tornando a vigilância estatal mais barata e eficiente. "Eles estão efetivamente automatizando partes do trabalho dentro do aparelho de inteligência," ele disse. "Estados autoritários estão usando IA para vigilância, repressão e operações de influência hoje."
A empresa atribuiu parte do mau uso a atores alinhados com o Estado e fornecedores de spyware comercial que usaram Claude para construir sistemas de vigilância. Em um caso, um único assinante usou Claude como a força de trabalho de engenharia para uma plataforma chamada Lakana 360, que monitorou cerca de 25 milhões de cartões SIM em todos os três operadores de telefonia móvel do país.
A Anthropic disse que publicou o relatório por obrigação de divulgar o mau uso e para dar aos governos e à sociedade civil uma visão mais clara de como essas ameaças se formam. As descobertas da empresa têm implicações para o desenvolvimento de modelos de IA e a necessidade de salvaguardas mais fortes para prevenir o mau uso.
Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.