Um site chamado ArtificialAnalysis faz um benchmark da inteligência de vários modelos LLM e publica um índice de inteligência. O índice é calculado como a média da saída de uma seleção curada de benchmarks rodados em cada modelo. No entanto, o gráfico de Inteligência vs. custo tem vários problemas, incluindo uma escala logarítmica e o uso de preços oficiais dos desenvolvedores dos modelos.

A escala logarítmica torna difícil apreciar a imensidão da diferença de preço entre modelos baratos e caros. Além disso, os preços oficiais podem não refletir o verdadeiro custo de rodar os modelos, especialmente para modelos de pesos abertos que podem ser alugados de provedores de API de terceiros a um custo mais baixo.

Um gráfico revisado, criado usando os mesmos escores de índice de inteligência da ArtificialAnalysis, mas com uma escala linear e preços ajustados, mostra uma representação mais precisa da eficácia custo-benefício de cada modelo. O gráfico destaca a diminuição dos retornos da inteligência aumentada, com modelos de nível superior sendo extremamente caros e apenas marginalmente mais capazes do que alternativas mais baratas.

Alguns modelos, marcados com um símbolo, podem ser rodados localmente em hardware de consumidor, com seu custo calculado com base na eletricidade necessária para rodá-los. Esses modelos são extremamente baratos, com custos variando de $0,015 a $0,023 por tarefa, tornando-os acessíveis a uma ampla gama de usuários.

O gráfico revisado também mostra que o custo de rodar modelos localmente pode ser substancial, especialmente para modelos maiores que requerem hardware mais poderoso. No entanto, mesmo esses modelos podem ser mais eficazes em termos de custo do que rodá-los em um datacenter, especialmente para usuários que já possuem o hardware necessário.

No geral, o gráfico revisado fornece uma representação mais precisa e informativa da eficácia custo-benefício dos modelos LLM, permitindo que os usuários tomem decisões mais informadas sobre quais modelos usar e como rodá-los.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.