Quantas vulnerabilidades o Project Glasswing encontrou?

Sete meses após o lançamento do Project Glasswing pela Anthropic, as evidências para suas alegações de caça a vulnerabilidades são escassas, segundo um rastreador independente que acompanha o projeto desde pouco depois de seu lançamento, em 7 de abril. O rastreador contabiliza 442 vulnerabilidades atribuíveis aos modelos de IA da Anthropic, número que representa cerca de 0,5% das 93.450 CVEs publicadas neste ano. Apenas duas dessas 442 foram exploradas na natureza.

\n

A lacuna é mais ampla no registro público da própria Anthropic. A empresa informa 37.966 descobertas, mas apenas 7.349 delas, ou 19,4%, foram tornadas públicas. O registro lista apenas 217 como corrigidas. Desde a atualização de setembro do rastreador, a Anthropic acrescentou quase 12.000 descobertas e registrou apenas 15 correções a mais.

\n

As duplicatas são o dado mais preocupante, argumenta o rastreador. Cerca de 1.600 descobertas, aproximadamente 4,4% do total, estão marcadas como duplicatas, o que equivale a quase oito vezes o número de correções. Outras 419 foram retiradas. Em setembro, o número de duplicatas era de dois. A explicação do rastreador é simples: quanto mais tempo uma falha permanece sem ser reportada, maior a probabilidade de que outra pessoa a encontre e corrija primeiro.

\n

Uma taxa de acerto em alta no registro

\n

A taxa de verdadeiros positivos declarada pela Anthropic é precisa?

A taxa de verdadeiros positivos declarada pela Anthropic subiu de 90,8%, no lançamento do registro em maio, para 94,2% em sua atualização mais recente, em 2 de novembro. O rastreador afirma que isso é difícil de conciliar com o histórico. Há mais descobertas retiradas ou marcadas como duplicatas do que corrigidas, o que sugere que os dados de triagem que alimentam o índice de verdadeiros positivos podem estar incompletos. O rastreador também afirma que o registro contém um erro que infla o número de descobertas marcadas como divulgadas, e recomenda que os leitores verifiquem usando o filtro "divulgado".

\n

A empresa reconheceu que a revisão manual não consegue acompanhar o ritmo. Em sua publicação de 8 de outubro anunciando o OSS Scanner, a Anthropic disse ter encontrado mais de 29.000 possíveis vulnerabilidades, mas ter revisado manualmente apenas cerca de 6.000. Disse que continuava "limitada pela nossa capacidade humana de validar essas descobertas" e que já havia enviado quase 5.000 relatórios não verificados aos mantenedores.

\n

Quem verifica os relatórios de vulnerabilidades da IA da Anthropic?

O OSS Scanner é uma ferramenta de autoatendimento na qual projetos de código aberto podem optar por participar. Os mantenedores solicitam uma varredura e fazem a triagem dos resultados por conta própria. A Anthropic afirma que os relatórios são "totalmente gerados por modelo, sem revisão ou triagem humana" e que "é possível que os relatórios sejam incorretos ou inválidos". A visão do rastreador é que o gargalo não desapareceu. Ele apenas foi transferido para os mantenedores.

\n

O que o lote do curl mostra

\n

O teste mais claro até agora veio do curl. Seu mantenedor, Daniel Stenberg, anunciou que o projeto recebeu 45 relatórios de vulnerabilidades da Anthropic, sendo um classificado como de severidade média e os demais como de severidade baixa. Stenberg vem publicando os relatórios em ritmo deliberado "para amenizar o impacto sobre a equipe".

\n

Dos 34 relatórios publicados até agora, 19 foram considerados não vulnerabilidades, seis foram confirmados como de severidade baixa e nove ainda aguardam avaliação. Isso coloca a taxa de falsos positivos em 55,9% e a taxa de confirmação em 17,6%. Em maio, Stenberg escreveu que cinco descobertas do Mythos equivaleram a uma única vulnerabilidade confirmada.

\n

O rastreador também aponta uma discrepância na severidade. Em setembro, constatou que o Claude classificou 91,5% das descobertas do registro como críticas ou altas, enquanto os mantenedores classificaram apenas 51,3% dessa forma. O Glasswing foi lançado com foco em falhas de severidade alta e crítica.

\n

O rastreador afirma não estar desconsiderando o valor da IA na pesquisa de vulnerabilidades. Sua conclusão é mais restrita: sete meses depois, os resultados ainda não correspondem à mensagem do lançamento. As CVEs representam uma pequena parcela do total do ano, quase nenhuma está sendo explorada, as correções estagnaram e o trabalho de verificação das descobertas foi transferido para os voluntários de código aberto que o projeto dizia que ajudaria.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.