A OpenAI afirma ter reduzido drasticamente a capacidade de atacantes de extrair o raciocínio interno de seus modelos mais recentes, uma tática que a empresa chama de destilação adversarial. Em um teste interno, a taxa média de sucesso de ataques ao raciocínio protegido caiu de 54,0% contra o GPT-6 Astra, com suas salvaguardas originais, para 0,2% contra o GPT-6.2 Astra, com suas proteções atualizadas.
A empresa publicou as conclusões em uma postagem detalhada que também explica como identifica e interrompe essas campanhas, além do que acredita que outros desenvolvedores devem fazer. A principal preocupação é direta. Os resultados de um modelo de fronteira podem ser usados, sem autorização, para treinar outro modelo que tenha capacidades semelhantes, mas nenhuma das barreiras de proteção originais. Um adversário poderia, por exemplo, copiar as capacidades cibernéticas de um modelo e usar o novo modelo para ajudar a realizar ataques que o original se recusaria a apoiar.
Por que a destilação é uma questão de segurança
O que é a destilação adversarial?
A destilação é uma técnica comum de aprendizado de máquina em que um modelo aprende com os dados de outro modelo. Um modelo aluno pode aprender com as respostas de um modelo professor, com seu raciocínio ou com seus julgamentos sobre quais respostas são melhores. A OpenAI afirma que o uso não autorizado desse método vai além de preocupações com propriedade intelectual. Por meio da destilação adversarial, um segundo modelo pode adquirir capacidades avançadas sem herdar as salvaguardas que regem como o original pode usá-las.
O risco é mais agudo em áreas de uso duplo, como cibersegurança e biologia. Um modelo que ajuda defensores a encontrar falhas em softwares também poderia ajudar um atacante a explorá-las. Um modelo que auxilia pesquisas biológicas poderia, nas mãos erradas, ajudar alguém a desenvolver um patógeno nocivo.
O foco particular da OpenAI é o que ela chama de raciocínio protegido, as etapas intermediárias que um modelo gera enquanto trabalha para chegar a uma resposta. Esses rastros podem conter informações que a resposta final omite, o que os torna especialmente úteis como dados de treinamento.
Em um estudo interno, a empresa testou quanta capacidade cibernética poderia ser transferida para um modelo aluno. Os pesquisadores iniciaram cada rodada de treinamento a partir do mesmo modelo pré-treinado e o ajustaram principalmente com base em trabalhos de modelos professores de nível Astra em tarefas de programação e cibersegurança defensiva. Um grupo de alunos aprendeu com rastros de raciocínio exatos, enquanto outro aprendeu com resumos de raciocínio. Após o ajuste fino, os alunos treinados com rastros exatos geralmente tiveram melhor desempenho. Após uma rodada leve de aprendizado por reforço, os alunos com rastros exatos ainda obtiveram pontuações mais altas no maior orçamento de inferência testado, enquanto os treinados com resumos se saíram melhor em orçamentos menores.
Defesas em camadas e aplicação em campanhas
Como as defesas da OpenAI impedem ataques de destilação?
A OpenAI afirma que suas defesas atuam em dois níveis. No nível da requisição, o comportamento do modelo, as verificações de classificadores e os controles de API limitam a extração de raciocínio. A empresa usa classificadores de entrada para sinalizar tentativas de extrair raciocínio protegido e classificadores de saída para identificar vazamentos em mensagens do assistente e em argumentos de chamadas de ferramentas. A cobertura das chamadas de ferramentas é importante, disse a empresa, porque um modelo pode expor raciocínio protegido por meio dos argumentos de uma ferramenta sem incluí-lo na resposta final.
No nível da campanha, a OpenAI procura padrões entre requisições e contas que indiquem extração coordenada. Quando encontra violações, aplica medidas contra toda a rede de contas envolvidas. A empresa afirma ter identificado várias campanhas não autorizadas em sua plataforma neste ano, com ações de fiscalização semanais que variam de milhares a dezenas de milhares de contas. O ritmo dessas ações aumentou significativamente no último verão. A OpenAI também compartilha indicadores de comprometimento com outros provedores de modelos, para que possam investigar abusos relacionados em seus próprios serviços.
A empresa acompanha com que frequência ocorrem abusos de destilação e quanto tempo leva para passar da detecção à aplicação de medidas. Seus objetivos declarados são limitar o volume e o valor dos dados que os destiladores podem obter, aumentar o custo de executar essas campanhas e reduzir o tempo de resposta a novos ataques.
Por que a destilação é uma questão de segurança nacional?
A OpenAI também enquadra o problema como uma questão de segurança nacional. Um agente estrangeiro que reproduzisse capacidades avançadas de modelos dos EUA poderia implantá-las sem as proteções que o desenvolvedor original incorporou. A empresa afirmou que informou o Congresso em fevereiro sobre atividades que sugeriam que a DeepSeek tentava destilar modelos de fronteira dos EUA. Em setembro, relatou ter interrompido uma campanha para extrair o raciocínio protegido de seus modelos e atribuiu uma parte central dessa atividade a indivíduos associados à Moonshot AI, desenvolvedora do Kimi. A OpenAI disse que pretende compartilhar em breve mais informações sobre campanhas recentes.
A empresa afirmou apoiar legislações que deem ao governo dos EUA mais ferramentas para identificar e sancionar agentes estrangeiros que extraiam ilicitamente capacidades de modelos americanos de IA. Também informou ao Congresso que apoia o Chip Security Act, o AI OVERWATCH Act e o MATCH Act. Os controles de exportação podem limitar o acesso de adversários ao hardware necessário para treinar modelos de fronteira, enquanto as defesas contra destilação dificultam a aquisição de algumas dessas mesmas capacidades a partir de modelos já treinados.
Para outros desenvolvedores, a OpenAI recomenda proteger o raciocínio privado em toda a interação, e não apenas na mensagem final. A empresa sugere manter registros de ataques de extração bem-sucedidos como testes de regressão, reproduzir esses ataques sempre que as defesas forem atualizadas e combinar mitigações no nível da requisição com investigações no nível da campanha. A empresa também pediu que os desenvolvedores coordenem os requisitos de salvaguardas com seus parceiros de implantação. A OpenAI afirmou que já compartilhou conclusões por meio do Frontier Model Forum e de canais governamentais de troca de informações, mantendo fora do alcance público os detalhes que atacantes poderiam explorar.
Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.