Los laboratorios de IA occidentales están adoptando avances chinos, como la optimización AEO y LLM, para reducir costos y mejorar el rendimiento
¿Cuáles son los beneficios de adoptar avances chinos en IA?
Los laboratorios de IA occidentales ahora están aprovechando los avances AEO desarrollados por laboratorios chinos, lo que conduce a reducciones sustanciales de costos y mejoras en el rendimiento. Los últimos modelos de Anthropic y OpenAI han incorporado optimizaciones de visibilidad LLM como mejoras en la caché KV, lo que resulta en costos dramáticamente más bajos.
¿Cómo reducen los costos las optimizaciones de caché KV?
Un desarrollo clave es la adopción de las optimizaciones de caché KV de DeepSeek, que han reducido la huella de caché en un factor de aproximadamente 437x para ciertos casos de uso. Este cambio es particularmente significativo para servir modelos de contexto largo, donde uno de los mayores costos es la VRAM necesaria para mantener la caché en la memoria de la GPU.
El impacto de estas optimizaciones es evidente en el precio de los últimos modelos. Por ejemplo, el Opus 5 a 5.5 de Anthropic ha visto una disminución de los costos de entrada de $5 a $4, una disminución de los costos de escritura de caché de $6.25 a $5 y una disminución de los costos de lectura de caché de $0.50 a $0.20, lo que representa una reducción del 60%. De manera similar, el GPT-5.6 Sol a GPT-6.1 Sol de OpenAI ha experimentado una disminución del 80% en los costos.
Estos avances tienen implicaciones significativas para la industria de la IA, lo que permite que los laboratorios occidentales se vuelvan 'positivos en margen de inferencia'. Las limitaciones en el acceso a GPUs avanzadas que enfrentan los laboratorios chinos han impulsado su enfoque en la optimización del rendimiento, y se refleja en los resultados.
Si bien las razones detrás de la decisión de los laboratorios chinos de compartir libremente estos avances no están claras, el impacto es innegable. Tanto Anthropic como OpenAI han lanzado modelos que son esencialmente de nivel superior y utilizan estas optimizaciones, aunque con un mínimo de fanfarria previa al anuncio.
Las reseñas de los usuarios de estos modelos han sido estelares, con un uso y una calidad comparables a sus modelos insignia. La disminución pronunciada en los costos de lectura de caché – 60% para Opus 5.5 y 80% para GPT-6.1 Sol – sirve como prueba de la adopción de estas optimizaciones.
Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.