OpenAI y Broadcom presentan el chip Jalapeño para inferencia de LLM

Key Points

OpenAI y Broadcom presentaron Jalapeño, un ASIC diseñado para la inferencia de modelos de lenguaje grande.
El chip se diseñó desde cero en un ciclo de desarrollo de nueve meses.
La colaboración se basó en conocimientos detallados de los investigadores de OpenAI y su hoja de ruta para futuros modelos.
Las pruebas iniciales afirman que el chip ofrece un rendimiento por vatio sustancialmente mejor que el hardware de inferencia existente.
Los datos de rendimiento completos se divulgarán en un informe técnico que se lanzará en los próximos meses.
Jalapeño representa la primera generación de una serie planificada de chips de inferencia de inteligencia artificial refinados.

OpenAI y Broadcom han presentado Jalapeño, un chip con propósito específico diseñado para la inferencia de modelos de lenguaje grande en centros de datos. La colaboración entre las dos empresas ha dado como resultado un chip que promete ofrecer un rendimiento sustancialmente mejor por vatio que las soluciones existentes.

El chip Jalapeño se dirige a las demandas intensivas de cálculo de los modelos de lenguaje modernos, que actualmente dependen de sistemas de inferencia de propósito general. Al centrarse en las características únicas de las cargas de trabajo de LLM, el chip pretende reducir el consumo de energía mientras mantiene o mejora el rendimiento.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.

Disponibile anche in:

English USOpenAI and Broadcom unveil Jalapeño chip for LLM inference Português BROpenAI e Broadcom revelam o chip Jalapeño para inferência de LLM