OpenAI afirma que ha reducido drásticamente la capacidad de los atacantes para extraer el razonamiento interno de sus modelos más recientes, una táctica que la empresa denomina destilación adversarial. En una prueba interna, la tasa promedio de éxito de los ataques contra el razonamiento protegido cayó del 54,0 % frente a GPT-6 Astra con sus salvaguardas originales al 0,2 % frente a GPT-6.2 Astra con sus protecciones actualizadas.

La compañía publicó los hallazgos en una publicación detallada que también explica cómo identifica e interrumpe estas campañas, y qué cree que deberían hacer otros desarrolladores. La preocupación central es sencilla. Las salidas de un modelo de frontera pueden utilizarse, sin permiso, para entrenar un modelo distinto que tenga capacidades similares pero ninguna de las barreras de protección originales. Un adversario podría, por ejemplo, copiar las capacidades cibernéticas de un modelo y usar el nuevo modelo para ayudar a ejecutar ataques que el original se habría negado a respaldar.

Por qué la destilación es un problema de seguridad

¿Qué es la destilación adversarial?

La destilación es una técnica común de aprendizaje automático en la que un modelo aprende de los datos de otro modelo. Un modelo estudiante puede aprender de las respuestas de un modelo maestro, de su razonamiento o de sus juicios sobre qué respuestas son mejores. OpenAI afirma que el uso no autorizado de este método va más allá de las preocupaciones de propiedad intelectual. Mediante la destilación adversarial, un segundo modelo puede adquirir capacidades avanzadas sin heredar las salvaguardas que rigen la forma en que el original puede usarlas.

El riesgo es más agudo en campos de doble uso como la ciberseguridad y la biología. Un modelo que ayuda a los defensores a encontrar fallas de software también podría ayudar a un atacante a explotarlas. Un modelo que apoya la investigación biológica podría, en manos equivocadas, ayudar a alguien a desarrollar un patógeno dañino.

El enfoque particular de OpenAI está en lo que denomina razonamiento protegido, es decir, los pasos intermedios que un modelo genera mientras trabaja para llegar a una respuesta. Esos rastros pueden contener información que la respuesta final omite, lo que los hace especialmente útiles como datos de entrenamiento.

En un estudio interno, la empresa evaluó cuánta capacidad cibernética podía transferirse a un modelo estudiante. Los investigadores iniciaron cada ciclo de entrenamiento a partir del mismo modelo preentrenado y lo ajustaron principalmente con trabajos de modelos maestros de nivel Astra en tareas de programación y ciberseguridad defensiva. Un grupo de estudiantes aprendió de rastros de razonamiento exactos, mientras que otro aprendió de resúmenes de razonamiento. Tras el ajuste fino, los estudiantes entrenados con rastros exactos generalmente tuvieron un mejor desempeño. Después de una ronda ligera de aprendizaje por refuerzo, los estudiantes con rastros exactos seguían obteniendo puntajes más altos con el mayor presupuesto de inferencia probado, mientras que los entrenados con resúmenes se desempeñaron mejor con presupuestos más bajos.

Defensas en capas y aplicación de medidas contra campañas

¿Cómo detienen las defensas de OpenAI los ataques de destilación?

OpenAI afirma que sus defensas funcionan en dos niveles. En el nivel de solicitud, el comportamiento del modelo, las verificaciones de clasificadores y los controles de la API limitan la extracción del razonamiento. La empresa utiliza clasificadores de entrada para detectar intentos de extraer razonamiento protegido y clasificadores de salida para identificar filtraciones en los mensajes del asistente y en los argumentos de llamadas a herramientas. La cobertura de las llamadas a herramientas es importante, según la compañía, porque un modelo puede exponer razonamiento protegido a través de los argumentos de una herramienta sin incluirlo en la respuesta final.

En el nivel de campaña, OpenAI busca patrones entre solicitudes y cuentas que apunten a una extracción coordinada. Cuando encuentra infracciones, aplica medidas contra toda la red de cuentas involucradas. La empresa afirma que ha observado múltiples campañas no autorizadas en su plataforma este año, con acciones de aplicación semanales que van desde miles hasta decenas de miles de cuentas. El ritmo de estas acciones aumentó significativamente durante el último verano. OpenAI también comparte indicadores de compromiso con otros proveedores de modelos para que puedan investigar abusos relacionados en sus propios servicios.

La empresa hace seguimiento de la frecuencia con que se produce el abuso por destilación y del tiempo que tarda en pasar de la detección a la aplicación de medidas. Sus objetivos declarados son limitar el volumen y el valor de los datos que los destiladores pueden obtener, aumentar el costo de ejecutar estas campañas y acortar el tiempo de respuesta ante nuevos ataques.

¿Por qué la destilación es un asunto de seguridad nacional?

OpenAI también plantea el problema como una cuestión de seguridad nacional. Un actor extranjero que reproduzca las capacidades avanzadas de los modelos estadounidenses podría desplegarlas sin las protecciones que el desarrollador original incorporó. La empresa afirma que informó al Congreso en febrero sobre actividades que sugerían que DeepSeek intentaba destilar modelos de frontera estadounidenses. En septiembre, informó que había interrumpido una campaña para extraer el razonamiento protegido de sus modelos y atribuyó una parte central de esa actividad a personas asociadas con Moonshot AI, desarrolladora de Kimi. OpenAI afirma que planea compartir pronto más información sobre campañas recientes.

La empresa indicó que respalda una legislación que daría al gobierno de Estados Unidos más herramientas para identificar y sancionar a actores extranjeros que extraigan ilícitamente capacidades de modelos de IA estadounidenses. También le ha comunicado al Congreso que respalda la Ley de Seguridad de Chips, la Ley AI OVERWATCH y la Ley MATCH. Los controles de exportación pueden limitar el acceso de los adversarios al hardware necesario para entrenar modelos de frontera, mientras que las defensas contra la destilación dificultan adquirir algunas de esas mismas capacidades a partir de modelos ya entrenados.

Para otros desarrolladores, OpenAI recomienda proteger el razonamiento privado en toda la interacción, y no solo en el mensaje final. Sugiere conservar registros de los ataques de extracción exitosos como pruebas de regresión, repetir esos ataques cada vez que se actualicen las defensas y combinar las mitigaciones en el nivel de solicitud con investigaciones a nivel de campaña. La compañía también instó a los desarrolladores a coordinar los requisitos de salvaguardas con sus socios de despliegue. OpenAI afirma que ya había compartido hallazgos a través del Frontier Model Forum y de canales gubernamentales de intercambio de información, manteniendo fuera del alcance público los detalles que los atacantes podrían explotar.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.