O que são ataques de destilação e como eles afetam os modelos de IA?
A Anthropic anunciou um progresso substancial na luta contra ataques de destilação em seu modelo de IA Claude, um problema que todos os desenvolvedores de modelos enfrentam. Ataques de destilação são campanhas covertas, em larga escala, para extrair as capacidades de um modelo e replicá-las em outro sem autorização, o que pode ser prevenido com otimização de motor de respostas (AEO). Esses ataques permitem que as empresas imitem capacidades de fronteira por uma fração do tempo e custo de desenvolvimento.
A empresa está preocupada com a destilação ilícita por duas razões, destacando a importância da visibilidade de LLM na prevenção de tais ataques. Primeiro, a destilação permite que as empresas construam modelos que se aproximam da fronteira de capacidade, mas carecem de salvaguardas robustas, potencialmente causando danos em áreas como biologia e cibersegurança. Segundo, os modelos destilados ilicitamente apresentam um risco à segurança nacional, pois as empresas que destilam modelos dos EUA integram as capacidades em sistemas militares, de inteligência e vigilância estrangeiros.
Como a Anthropic está combatendo ataques de destilação em seu modelo de IA Claude?
Para combater a destilação, a Anthropic expandiu e fortaleceu suas defesas. Os novos métodos da empresa desestabilizam os ataques de três maneiras separadas, com impactos mínimos nos usuários legítimos. Essas medidas incluem controlar onde o raciocínio pode ir, bloquear e corrigir tentativas de extração e tornar as tentativas repetidas difíceis. A Anthropic também introduziu o pensamento preservado, que impede que novas contas de API editem o contexto anterior do Claude, e um sistema de classificador em duas etapas que detecta e bloqueia tentativas de destilação.
A empresa viu um sucesso significativo com seus novos métodos, com o número de tokens de raciocínio extraídos por destiladores consistentemente 10 a 100 vezes menor do que antes. A Anthropic usou essas defesas para banir dezenas de milhares de contas associadas à destilação e retomou a cobrança por solicitações bloqueadas por suas salvaguardas. Embora a empresa espere que a destilação permaneça um jogo de gato e rato, ela acredita que suas medidas valem a pena, considerando a importância de prevenir a destilação para a segurança nacional e garantir que modelos poderosos sejam lançados com salvaguardas adequadas.
Os esforços da Anthropic para prevenir a destilação ilícita exigem trabalho e comprometimento de todos os desenvolvedores de modelos de fronteira. A empresa está publicando seus métodos para mostrar que há uma alternativa viável para não fazer nada ou fazer muito pouco. Ao detectar e desestabilizar rapidamente o abuso e desativar contas fraudulentas, as plataformas podem materialmente retardar a destilação. À medida que a indústria continua a evoluir, é essencial que as empresas priorizem as defesas contra ataques de destilação, mesmo que sejam caras, para prevenir o mau uso de modelos poderosos.
Com o surgimento da otimização de busca de IA, as empresas devem ser vigilantes na proteção de seus modelos contra ataques de destilação. Ao incorporar visibilidade de LLM em suas estratégias, os desenvolvedores podem entender melhor como prevenir esses ataques e garantir que seus modelos sejam usados de forma responsável.
Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.