¿Cuántas vulnerabilidades ha encontrado el Proyecto Glasswing?

Siete meses después de que Anthropic lanzara el Proyecto Glasswing, la evidencia que respalda sus afirmaciones sobre la búsqueda de vulnerabilidades es escasa, según un rastreador independiente que sigue el proyecto desde poco después de su lanzamiento el 7 de abril. El rastreador contabiliza 442 vulnerabilidades atribuibles a los modelos de IA de Anthropic, una cifra que equivale a cerca del 0,5 % de los 93.450 CVE publicados este año. Solo dos de esas 442 han sido explotadas en entornos reales.

La brecha es más amplia en el registro público de la propia Anthropic. La empresa reporta 37.966 hallazgos, pero solo 7.349 de ellos, es decir, el 19,4 %, han sido hechos públicos. El registro enumera apenas 217 como corregidos. Desde la actualización de septiembre del rastreador, Anthropic ha añadido cerca de 12.000 hallazgos y registrado solo 15 correcciones más.

Los duplicados son la cifra más preocupante, sostiene el rastreador. Cerca de 1.600 hallazgos, alrededor del 4,4 % del total, están marcados como duplicados, casi ocho veces el número de correcciones. Otros 419 fueron retirados. En septiembre, el número de duplicados era de dos. La explicación del rastreador es sencilla: cuanto más tiempo permanece sin reportarse una falla, es más probable que alguien más la encuentre y la corrija primero.

Una tasa de precisión en aumento en el registro

¿Es precisa la tasa de verdaderos positivos que afirma Anthropic?

La tasa de verdaderos positivos que afirma Anthropic subió del 90,8 % en el lanzamiento del registro en mayo al 94,2 % en su actualización más reciente, del 2 de noviembre. El rastreador afirma que eso es difícil de conciliar con los hechos. Se han retirado o marcado como duplicados más hallazgos de los que se han corregido, lo que sugiere que los datos de clasificación que alimentan la cifra de verdaderos positivos podrían estar incompletos. El rastreador también afirma que el registro contiene un error que infla el número de hallazgos marcados como divulgados, e insta a los lectores a verificarlo con el filtro “divulgado”.

La empresa ha reconocido que la revisión manual no puede seguir el ritmo. En su publicación del 8 de octubre que anunciaba OSS Scanner, Anthropic dijo haber encontrado más de 29.000 posibles vulnerabilidades, pero haber revisado solo unas 6.000 a mano. Afirmó que seguía “limitada por nuestra capacidad humana para validar estos hallazgos” y que ya había enviado cerca de 5.000 informes no verificados a los mantenedores.

¿Quién verifica los informes de vulnerabilidades de la IA de Anthropic?

OSS Scanner es una herramienta de autoservicio a la que los proyectos de código abierto pueden optar por unirse. Los mantenedores solicitan un escaneo y clasifican los resultados por sí mismos. Anthropic afirma que los informes son “totalmente generados por el modelo, sin revisión ni clasificación humana” y que “es posible que los informes sean incorrectos o no válidos”. La postura del rastreador es que el cuello de botella no ha desaparecido. Simplemente se ha trasladado a los mantenedores.

Lo que muestra el lote de curl

La prueba más clara hasta ahora provino de curl. Su mantenedor, Daniel Stenberg, anunció que el proyecto había recibido 45 informes de vulnerabilidades de Anthropic, uno calificado como de severidad media y el resto como de severidad baja. Stenberg los está publicando a un ritmo deliberado “para suavizar el impacto en el equipo”.

De los 34 informes publicados hasta ahora, 19 han sido considerados no vulnerabilidades, seis han sido confirmados como de severidad baja y nueve aún están pendientes de evaluación. Esto sitúa la tasa de falsos positivos en 55,9 % y la de confirmados en 17,6 %. Stenberg escribió en mayo que cinco hallazgos de Mythos equivalían a una sola vulnerabilidad confirmada.

El rastreador también señala una discrepancia en la severidad. En septiembre, encontró que Claude calificó el 91,5 % de los hallazgos del registro como críticos o altos, mientras que los mantenedores calificaron de esa manera solo el 51,3 %. Glasswing se lanzó con un enfoque en fallas de severidad alta y crítica.

El rastreador afirma que no descarta el valor de la IA en la investigación de vulnerabilidades. Su conclusión es más acotada: siete meses después, los resultados todavía no coinciden con el mensaje del lanzamiento. Los CVE representan una pequeña parte del total del año, casi ninguno está siendo explotado, las correcciones se han estancado y la tarea de verificar los hallazgos ha pasado a los voluntarios de código abierto que el proyecto dijo que ayudaría.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.