Baidu lança pesos base do ERNIE 5.5 Flash para que desenvolvedores criem sobre o modelo

O que é o ERNIE 5.5 Flash Base?

A Baidu lançou os pesos do ERNIE-5.5-Flash-Base, um modelo de linguagem base projetado menos como um produto acabado e mais como um ponto de partida para outros desenvolvedores. O modelo tem uma arquitetura de mistura esparsa de especialistas, com 280 bilhões de parâmetros totais, e apenas 14 bilhões deles são ativados para cada token.

A versão lançada é o checkpoint que a empresa salvou ao final do pré-treinamento. Ele não passou por nenhum treinamento intermediário ou posterior, o que significa que os desenvolvedores podem aproveitar as capacidades gerais já incorporadas e direcionar o modelo para seus próprios objetivos. A Baidu indica como possíveis usos a adaptação a domínios, o ajuste por instruções e pesquisas em aprendizado por reforço.

O modelo foi pré-treinado do zero com 33,5 trilhões de tokens. Seu contexto de treinamento chegou a 128.000 tokens, e o ajuste fino e a inferência suportam uma janela de contexto de até 1 milhão de tokens. Segundo a Baidu, ele possui 43 camadas Transformer, um tamanho oculto de 4.096 e 64 cabeças de atenção.

Como a Baidu projetou o ERNIE 5.5 Flash Base para controlar os custos computacionais?

Grande parte do projeto, de acordo com o documento técnico da Baidu, concentra-se no custo. Um modelo base é reutilizado muitas vezes durante o treinamento posterior, e as aplicações agênticas acumulam interações de múltiplas etapas e contextos longos. Ambos aumentam as necessidades de computação e memória. A Baidu afirma que considerou em conjunto a computação ativada, o tamanho do cache de chave-valor e o custo de contextos longos ao projetar cada parte do modelo.

O sistema de atenção é a parte mais incomum desse esforço. A maioria das camadas usa uma forma de atenção fortemente comprimida, que condensa a cada 128 tokens uma única entrada em cache. Apenas uma camada em cada sete mantém acesso no nível de token a todo o contexto, e essas camadas usam atenção esparsa, que pontua posições anteriores e calcula apenas sobre as de maior pontuação. Segundo a Baidu, a abordagem híbrida mantém toda a sequência visível, armazenando em cache apenas uma pequena fração do que uma camada de contexto completo precisaria.

Outras mudanças atingem as etapas de roteamento e de saída. Em vez de um único roteador escolhendo os especialistas, o modelo usa vários roteadores inicializados de forma independente, que pontuam os especialistas em conjunto. A Baidu afirma que isso torna mais fácil corrigir escolhas erradas e melhora o alinhamento entre as pontuações de roteamento e a utilidade de cada especialista, especialmente nas camadas intermediárias e mais profundas. A empresa também substituiu os módulos convencionais de previsão de múltiplos tokens por um método chamado ECHO, que reutiliza a última camada do backbone para prever tokens futuros. Essa mesma camada pode servir como modelo rascunho para a decodificação especulativa.

A Baidu também desenvolveu uma infraestrutura personalizada para a execução do treinamento. Ela descreve uma versão distribuída do otimizador Muon, que, segundo a empresa, mantém a eficiência em milhares de GPUs, além de um kernel de atenção chamado FlashMask-4, que suporta dimensões de cabeça maiores do que o FlashAttention-4. Em GPUs SM100, a Baidu afirma que o FlashMask-4 é até 175% mais rápido na passagem direta e até 74% mais rápido na passagem reversa do que o FlashAttention-4 MaskMod.

Como o ERNIE 5.5 Flash Base se compara a outros modelos base abertos?

Em seus próprios benchmarks, a Baidu comparou o modelo com três modelos base abertos recentes de tamanho semelhante: DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base. O ERNIE 5.5 Flash obteve a maior pontuação na maioria das categorias. Ele registrou 93,3 no MMLU, contra 89,4 do DeepSeek-V4-Flash-Base, e 60,2 no GPQA, contra 55,9 do DeepSeek. No LiveCodeBench, pontuou 40,1, enquanto os demais modelos variaram entre 31,9 e 33,5. O DeepSeek-V4-Flash-Base superou ligeiramente o ERNIE em alguns testes, incluindo o ChineseSimpleQA, em que marcou 75,3 contra 73,0 do ERNIE, e o InfiniteBench, em que marcou 48,0 contra 46,5. Todos os quatro modelos foram executados com o mesmo ambiente de testes, os mesmos prompts e os mesmos exemplos few-shot, segundo a Baidu. Esses resultados são divulgados pela própria Baidu e não foram verificados de forma independente.

Os desenvolvedores podem baixar o modelo no Hugging Face nos formatos safetensors FP8 e BF16, sendo a versão BF16 listada como ERNIE-5.5-Flash-Base-BF16. O modelo é regido pelo Acordo de Licença do Modelo Base ERNIE 5.5 Flash v1.0. A Baidu afirma que o modelo precisa de um token de início de sequência no começo de cada entrada, por isso os desenvolvedores devem manter add_special_tokens definido como True ao tokenizar. SGLang e vLLM oferecem suporte à disponibilização do modelo por meio de suas APIs de completions.

A Baidu afirma que uma versão pós-treinada do ERNIE 5.5 Flash será lançada em seguida. Por ora, a versão base é voltada a desenvolvedores e pesquisadores que desejam executar seus próprios métodos de treinamento sobre uma base comum.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.