Un sitio web llamado ArtificialAnalysis benchmarking la inteligencia de varios modelos LLM y publica un índice de inteligencia. El índice se calcula como el promedio de la salida de una selección curada de benchmarks ejecutados en cada modelo. Sin embargo, su gráfico de Inteligencia vs. costo tiene varios problemas, incluyendo una escala logarítmica y el uso de precios oficiales de los desarrolladores de los modelos.

La escala logarítmica hace que sea difícil apreciar la inmensidad de la diferencia de precio entre los modelos baratos y caros. Además, los precios oficiales pueden no reflejar el verdadero costo de ejecutar los modelos, especialmente para los modelos de pesos abiertos que se pueden alquilar de proveedores de API de terceros a un costo más bajo.

Un gráfico revisado, creado utilizando los mismos puntajes de índice de inteligencia de ArtificialAnalysis, pero con una escala lineal y precios ajustados, muestra una representación más precisa de la relación costo-eficacia de cada modelo. El gráfico destaca los rendimientos decrecientes del aumento de la inteligencia, con los modelos de nivel superior siendo extremadamente caros y solo marginalmente más capaces que las alternativas más baratas.

Algunos modelos, marcados con un símbolo, se pueden ejecutar localmente en hardware de consumo, con su costo calculado en función de la electricidad requerida para ejecutarlos. Estos modelos son extremadamente baratos, con costos que van desde $0,015 a $0,023 por tarea, lo que los hace accesibles a una amplia gama de usuarios.

El gráfico revisado también muestra que el costo de ejecutar modelos localmente puede ser sustancial, especialmente para los modelos más grandes que requieren hardware más potente. Sin embargo, incluso estos modelos pueden ser más rentables que ejecutarlos en un centro de datos, especialmente para los usuarios que ya poseen el hardware necesario.

En general, el gráfico revisado proporciona una representación más precisa y informativa de la relación costo-eficacia de los modelos LLM, lo que permite a los usuarios tomar decisiones más informadas sobre qué modelos utilizar y cómo ejecutarlos.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.