¿Qué es la versión 5.0 del Índice de Inteligencia de Artificial Analysis?

Artificial Analysis lanzó la versión 5.0 de su Índice de Inteligencia, la puntuación compuesta que la firma utiliza para clasificar y comparar modelos de lenguaje. El índice ahora se basa en nueve evaluaciones divididas en partes iguales entre cuatro categorías, cada una con el 25 por ciento del peso total: Trabajo de Conocimiento, Programación, Ciencia y General.

¿Cómo se ponderan las categorías del Índice de Inteligencia?

La categoría Trabajo de Conocimiento está encabezada por AA-Briefcase v1.1, un benchmark de proyectos de trabajo de conocimiento de varias semanas que representa el 15 por ciento de la puntuación. AutomationBench-AA y GDP.pdf representan cada uno otro 5 por ciento. La Programación combina FrontierCode 2.0, que pide a los agentes realizar cambios en repositorios de código abierto reales y tiene un peso del 15 por ciento, junto con Terminal-Bench 4.0 con el 10 por ciento. Ciencia combina Terminal-Bench-Science 0.1 con el 15 por ciento y el subconjunto difícil de CritPt v2 con el 10 por ciento. La categoría General incluye AA-Omniscience v1.1, con un peso del 15 por ciento, dividido entre la precisión de las respuestas, con el 10 por ciento, y una tasa de no alucinación, con el 5 por ciento, además de HLE-Diamond con el 10 por ciento.

¿Qué benchmarks se eliminaron del Índice de Inteligencia?

Varios benchmarks cambiaron de lugar en el proceso. Terminal-Bench-Science, FrontierCode 2.0 y HLE-Diamond son nuevos en el índice. El peso de GDP.pdf bajó del 10 por ciento al 5 por ciento, y el benchmark CritPt fue reemplazado por su subconjunto difícil v2, que mantiene el mismo peso del 10 por ciento. Cuatro evaluaciones fueron eliminadas por completo del índice: GDPval-AA, SciCode, AA-LCR y Humanity's Last Exam. El historial de versiones de la empresa indica que la revisión está vigente desde octubre de 2026.

HLE-Diamond es una versión depurada de Humanity's Last Exam, de 1.000 preguntas, creada por el Center for AI Safety y Scale AI. Las preguntas se dividen en partes iguales entre 500 ítems de razonamiento y 500 ítems de conocimiento. Artificial Analysis evalúa las 1.000 preguntas sin herramientas y califica las respuestas con un juez basado en LLM que sigue los scripts oficiales de evaluación de HLE.

AA-Omniscience v1.1 es la prueba de conocimiento y alucinación de la empresa. Ahora contiene 3.000 preguntas que abarcan 42 temas, frente a las 6.000 del conjunto de datos original. La empresa eliminó preguntas saturadas, descartó 600 preguntas que se habían publicado en el conjunto público de la v1, agregó nuevos ítems y corrigió los ambiguos. Debido a esos cambios, la firma afirma que los resultados no son directamente comparables con los de la v1. El sistema de puntuación otorga puntos por respuestas correctas, resta puntos por respuestas alucinadas y considera las abstenciones como neutras, de modo que un modelo que se niega a responder obtiene un mejor resultado que uno que adivina y se equivoca.

El Índice de Inteligencia es, principalmente, una suite basada en texto y en inglés. Artificial Analysis evalúa por separado las entradas de imagen, las entradas de voz y el desempeño multilingüe, y esos resultados no alimentan la puntuación del índice. La empresa también señala que el índice tiene límites. En su documento metodológico, afirma que, como todas las métricas de evaluación, es posible que el índice no se aplique directamente a todos los casos de uso. Aun así, la firma asegura que confía en que el índice es una comparación más útil entre modelos de lenguaje que cualquier otra métrica disponible hoy.

Algunos componentes usan juicios por pares y calificaciones Elo, que la empresa ajusta con un modelo Crowd-BT. En el caso de AA-Briefcase, el Elo combinado de un modelo se congela en el momento en que se añade al índice y luego se normaliza a un rango de 0 a 1 mediante una fórmula fija. La escala Elo está anclada a GPT-5.5 (medium) en 1000. Artificial Analysis afirma que podría actualizar esos parámetros de referencia a medida que los modelos mejoren, para que el índice siga siendo capaz de distinguir entre modelos sólidos.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.