Un nuevo análisis sugiere que Gemini 4 Neon podría rivalizar con Opus 5.5 en la clasificación de Agent Duel. Su calificación Elo proyectada es de 1.066, frente a los 1.078 de Opus 5.5, una diferencia que se encuentra dentro del margen de error. Los autores atribuyen a Neon sus 127 tokens por segundo, muy por encima de los 46 de Gemini 4 Carbon, y afirman que la velocidad importa casi tanto como la identidad del modelo.
Gemini 4 Neon, lanzado recientemente, parece ser un serio desafiante de Opus 5.5 en la clasificación de Agent Duel, según un nuevo análisis. El modelo muestra una mejora incremental en su desempeño en las pruebas de referencia, pero su verdadera ventaja podría ser la velocidad. Al inicio del día de su lanzamiento, Neon se entregaba a través de OpenRouter a 127 tokens por segundo, mucho más rápido que los 46 tokens por segundo que el análisis registró para Gemini 4 Carbon.
Esa diferencia motivó la pregunta central del análisis: ¿podría Neon no solo ser un buen modelo, sino el mejor disponible?
Gemini 4 Carbon ya tiene una posición sólida. Es el modelo principal en la clasificación de Agent Duel si se excluyen los votos tempranos. Su principal debilidad, according to el análisis, es que es lento.
¿Afecta la velocidad de respuesta a la preferencia de los usuarios por un modelo de IA?
Para comprobar si la velocidad realmente afecta los resultados, los autores modelaron la tasa de victorias en su clasificación. Construyeron el modelo con tres factores: la identidad del modelo, su velocidad y si el usuario votó de forma temprana. La primera versión del modelo no se ajustó bien a los datos. Al agregar una interacción entre velocidad y votación temprana, el ajuste mejoró considerablemente.
El resultado sorprendió a los autores. La velocidad parece importar casi tanto como el modelo específico que usa el usuario. El análisis indica que pronto se publicará un documento aparte, con más detalles sobre este hallazgo.
¿Podría Gemini 4 Neon superar a Opus 5.5 en la clasificación?
Con ese modelo, los autores proyectaron el desempeño de Neon en la clasificación. Asumieron que Neon tendría el mismo desempeño que Gemini 4 Carbon, lo que consideraron un punto de partida razonable dados los mejores puntajes de Carbon en las pruebas de referencia. Luego incorporaron los 127 tokens por segundo de Neon. La proyección ubicó a Neon con una calificación Elo de 1.066 en la clasificación de Agent Duel. Esto queda apenas por debajo de Opus 5.5, que tiene 1.078 en la instantánea de análisis posterior de los autores.
¿Qué tan confiable es la proyección de Gemini 4 Neon frente a Opus 5.5?
Los autores subrayan que la estimación es incierta. Su intervalo del 90 por ciento para la diferencia Elo entre Neon y Opus 5.5 va desde 94 puntos por debajo de Opus 5.5 hasta 68 puntos por encima. Dentro de ese modelo, se proyecta que Neon gane el 48,3 % de sus enfrentamientos directos contra Opus 5.5, contando los empates como media victoria. En otras palabras, la proyección coloca a ambos modelos prácticamente empatados, y el resultado está dentro del rango de error.
El análisis se basa en varios supuestos. El desempeño de Neon se proyecta a partir de los resultados de Carbon, en lugar de medirse directamente en la clasificación. Su cifra de velocidad proviene del servicio temprano a través de OpenRouter, y el modelo de los autores trata la velocidad como un factor importante de la preferencia de los usuarios. Si la velocidad o la calidad real de Neon en uso cotidiano difieren de esas cifras tempranas, el ranking proyectado podría cambiar.
Para desarrolladores y usuarios que comparan modelos, los hallazgos sugieren que la velocidad de respuesta podría tener más peso en las comparaciones directas de lo que indicarían por sí solas las puntuaciones de las pruebas de referencia. Que Neon llegue efectivamente a la cima de la clasificación dependerá de resultados que los autores aún no han recopilado.
Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.