¿Qué es ERNIE 5.5 Flash Base?

Baidu ha publicado los pesos de ERNIE-5.5-Flash-Base, un modelo de lenguaje base diseñado menos como un producto terminado que como un punto de partida para otros desarrolladores. El modelo es un diseño de mezcla dispersa de expertos con 280.000 millones de parámetros totales, y solo 14.000 millones de ellos se activan para cualquier token dado.

La publicación corresponde al punto de control que la compañía guardó al final del preentrenamiento. No ha pasado por ningún entrenamiento intermedio ni posterior, lo que significa que los desarrolladores pueden aprovechar las capacidades generales ya incorporadas y orientar el modelo en su propia dirección. Baidu señala la adaptación a dominios, el ajuste por instrucciones y la investigación en aprendizaje por refuerzo como usos probables.

El modelo fue preentrenado desde cero con 33,5 billones de tokens. Su contexto de entrenamiento alcanzó los 128.000 tokens, y el ajuste fino y la inferencia admiten una ventana de contexto de hasta 1 millón de tokens. Baidu afirma que tiene 43 capas Transformer, un tamaño oculto de 4.096 y 64 cabezas de atención.

¿Cómo diseñó Baidu ERNIE 5.5 Flash Base para controlar los costos de cómputo?

Gran parte del diseño, según el documento técnico de Baidu, se centra en el costo. Un modelo base se reutiliza muchas veces durante el entrenamiento posterior, y las aplicaciones agénticas acumulan interacciones de varios turnos y contextos largos. Ambos factores aumentan las necesidades de cómputo y memoria. Baidu afirma que sopesó conjuntamente el cómputo activado, el tamaño de la caché clave-valor y el costo del contexto largo al diseñar cada parte del modelo.

El sistema de atención es la parte más inusual de ese esfuerzo. La mayoría de las capas usan una forma de atención muy comprimida que condensa cada 128 tokens en una única entrada en caché. Solo una de cada siete capas mantiene acceso a nivel de token a todo el contexto, y esas capas usan atención dispersa que puntúa posiciones anteriores y calcula solo sobre las de mayor puntuación. Baidu afirma que el enfoque híbrido mantiene visible la secuencia completa mientras almacena en caché solo una pequeña fracción de lo que necesitaría una capa de contexto completo.

Otros cambios apuntan a las etapas de enrutamiento y de salida. En lugar de un único enrutador que elige los expertos, el modelo usa varios enrutadores inicializados de forma independiente que puntúan a los expertos de manera conjunta. Baidu afirma que esto facilita corregir las malas elecciones y mejora qué tan bien las puntuaciones de enrutamiento reflejan la utilidad de cada experto, especialmente en las capas intermedias y profundas. La compañía también reemplazó los módulos habituales de predicción de múltiples tokens por un método que denomina ECHO, que reutiliza la capa final propia del backbone para predecir tokens futuros. La misma capa puede servir como modelo borrador para la decodificación especulativa.

Baidu también construyó infraestructura personalizada para la ejecución del entrenamiento. Describe una versión distribuida del optimizador Muon que, según dice, se mantiene eficiente en miles de GPU, junto con un kernel de atención llamado FlashMask-4 que admite dimensiones de cabeza más grandes que FlashAttention-4. En GPU SM100, Baidu afirma que FlashMask-4 funciona hasta un 175% más rápido en el paso hacia adelante y hasta un 74% más rápido en el paso hacia atrás que FlashAttention-4 MaskMod.

¿Cómo se compara ERNIE 5.5 Flash Base con otros modelos base abiertos?

En sus propios benchmarks, Baidu comparó el modelo con tres modelos base abiertos recientes de tamaño similar: DeepSeek-V4-Flash-Base, Hy3-preview-Base y MiMo-V2.5-Base. ERNIE 5.5 Flash obtuvo la puntuación más alta en la mayoría de las categorías. Logró 93,3 en MMLU, frente a 89,4 de DeepSeek-V4-Flash-Base, y 60,2 en GPQA, frente a 55,9 de DeepSeek. En LiveCodeBench obtuvo 40,1, mientras que los otros modelos se ubicaron entre 31,9 y 33,5. DeepSeek-V4-Flash-Base superó ligeramente a ERNIE en algunas pruebas, entre ellas ChineseSimpleQA, donde obtuvo 75,3 frente a los 73,0 de ERNIE, e InfiniteBench, donde obtuvo 48,0 frente a 46,5. Según Baidu, los cuatro modelos se ejecutaron con el mismo arnés, las mismas indicaciones y los mismos ejemplos de pocos disparos. Estos resultados provienen de Baidu y no han sido verificados de forma independiente.

Los desarrolladores pueden descargar el modelo desde Hugging Face en los formatos safetensors FP8 y BF16, y la versión BF16 aparece como ERNIE-5.5-Flash-Base-BF16. El modelo se rige por el Acuerdo de Licencia del Modelo ERNIE 5.5 Flash Base v1.0. Baidu afirma que el modelo necesita un token de inicio de secuencia al comienzo de cada entrada, por lo que los desarrolladores deben mantener add_special_tokens en True al tokenizar. SGLang y vLLM admiten ambos el servicio del modelo a través de sus APIs de completado.

Baidu indica que una versión posentrenada de ERNIE 5.5 Flash llegará después. Por ahora, la publicación base está dirigida a desarrolladores e investigadores que quieren ejecutar sus propios métodos de entrenamiento sobre una base común.

Dieser Artikel wurde mit Unterstützung von KI verfasst.
News Factory APP - agentische News für besseres SEO & AEO.