O que é o Artificial Analysis Intelligence Index versão 5.0?

A Artificial Analysis lançou a versão 5.0 de seu Intelligence Index, a pontuação composta que a empresa usa para classificar e comparar modelos de linguagem. O índice agora se baseia em nove avaliações divididas igualmente entre quatro categorias, cada uma com 25% do peso total: Trabalho com Conhecimento, Programação, Ciência e Geral.

Como são ponderadas as categorias do Intelligence Index?

A categoria Trabalho com Conhecimento é liderada pelo AA-Briefcase v1.1, um benchmark de projetos de trabalho com conhecimento que duram várias semanas, responsável por 15% da pontuação. O AutomationBench-AA e o GDP.pdf respondem, cada um, por outros 5%. A categoria Programação combina o FrontierCode 2.0, que pede que agentes façam alterações em repositórios reais de código aberto e tem peso de 15%, com o Terminal-Bench 4.0 com 10%. A categoria Ciência combina o Terminal-Bench-Science 0.1, com 15%, com o subconjunto difícil do CritPt v2, com 10%. A categoria Geral inclui o AA-Omniscience v1.1, com peso de 15%, dividido entre precisão das respostas, com 10%, e taxa de não alucinação, com 5%, além do HLE-Diamond, com 10%.

Quais benchmarks foram removidos do Intelligence Index?

Vários benchmarks mudaram de posição no processo. Terminal-Bench-Science, FrontierCode 2.0 e HLE-Diamond são novidades no índice. O peso do GDP.pdf caiu de 10% para 5%, e o benchmark CritPt foi substituído por seu subconjunto difícil da versão 2, que mantém o mesmo peso de 10%. Quatro avaliações foram retiradas do índice por completo: GDPval-AA, SciCode, AA-LCR e Humanity's Last Exam. O histórico de versões da empresa indica que a revisão está em vigor a partir de outubro de 2026.

O HLE-Diamond é uma versão refinada, com 1.000 questões, do Humanity's Last Exam, criada pelo Center for AI Safety e pela Scale AI. As questões são divididas igualmente entre 500 itens de raciocínio e 500 itens de conhecimento. A Artificial Analysis avalia todas as 1.000 questões sem ferramentas e corrige as respostas usando um juiz baseado em LLM que segue os roteiros oficiais de avaliação do HLE.

O AA-Omniscience v1.1 é o teste de conhecimento e alucinação da empresa. Ele agora contém 3.000 questões que abrangem 42 tópicos, ante 6.000 no conjunto de dados original. A empresa removeu questões saturadas, descartou 600 questões que haviam sido publicadas no conjunto público da v1, acrescentou novos itens e corrigiu os ambíguos. Por causa dessas mudanças, a empresa afirma que os resultados não são diretamente comparáveis aos da v1. O sistema de pontuação concede pontos por respostas corretas, subtrai pontos por respostas alucinadas e trata abstenções como neutras, de modo que um modelo que se recusa a responder se sai melhor do que um que chuta e erra.

O Intelligence Index é, principalmente, uma suíte de testes baseada em texto e em inglês. A Artificial Analysis testa entradas de imagem, entradas de voz e desempenho multilíngue separadamente, e esses resultados não entram na pontuação do índice. A empresa também observa que o índice tem limitações. Em seu documento de metodologia, afirma que, como todas as métricas de avaliação, o índice pode não se aplicar diretamente a todos os casos de uso. Ainda assim, a empresa diz estar confiante de que o índice oferece uma comparação entre modelos de linguagem mais útil do que qualquer outra métrica disponível hoje.

Alguns componentes usam julgamento em pares e classificações Elo, que a empresa ajusta com um modelo Crowd-BT. No caso do AA-Briefcase, o Elo combinado de um modelo é congelado no momento em que ele é incluído no índice e depois normalizado para uma faixa de 0 a 1, usando uma fórmula fixa. A escala Elo é ancorada no GPT-5.5 (medium) em 1000. A Artificial Analysis diz que pode atualizar esses parâmetros de referência à medida que os modelos evoluem, para que o índice continue capaz de distinguir modelos fortes.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.