O que é o DeepInfer e o que ele faz?
DeepSeek lançou o DeepInfer, um framework de inferência de código aberto que, segundo a empresa, alimenta seus serviços de produção em larga escala. O código está hospedado no GitHub e licenciado sob a Apache License 2.0. A versão atual é voltada para inferência offline e tem como objetivo executar grandes modelos em muitos aceleradores ao mesmo tempo.
O primeiro modelo compatível é o DeepSeek-V4.1-Flash. O checkpoint padrão, deepseek-ai/DeepSeek-V4.1-Flash-1017, é baixado para o cache do Hugging Face na primeira execução. Desenvolvedores que já têm uma cópia local podem apontar o framework para ela por meio de uma variável de ambiente.
O DeepInfer vem com um conjunto de kernels otimizados, incluindo FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernels TileLang personalizados. Ele também oferece suporte a várias estratégias de paralelismo, entre elas paralelismo de dados de atenção, paralelismo de contexto balanceado e paralelismo de especialistas de mistura de especialistas com EPLB. Um escalonador assíncrono sobrepõe o agendamento de lotes na CPU à execução no dispositivo, e ele vem ativado por padrão.
Decodificação e controles de saída
O framework usa um método de decodificação especulativa que o README chama de DSpark. Ele se baseia em tokens de rascunho e estimativas de confiança para decidir quando verificá-los. Os desenvolvedores podem definir o comprimento máximo de rascunho, que é 5 por padrão.
Um segundo recurso, que o projeto chama de decoder SWA bounded replay, reduz o trabalho de prefill ao reproduzir apenas um sufixo limitado da entrada. Para as configurações padrão da V4.1, o sufixo retido tem 140 tokens. A parte mantida deve cobrir a janela deslizante somada ao comprimento máximo de retrocesso.
O DeepInfer também oferece inferência invariante ao lote, que mantém os resultados do modelo idênticos independentemente de como as requisições são agrupadas em lotes. Esse recurso funciona apenas em hardware NVIDIA, assim como a amostragem determinística, que produz a mesma saída para os mesmos tokens de entrada e parâmetros de amostragem. As saídas estruturadas permitem que os desenvolvedores restrinjam a geração a uma expressão regular, a um esquema JSON ou a uma gramática EBNF.
Hardware, configuração e o que está faltando
Quais hardwares o DeepInfer suporta?
O framework oferece suporte a GPUs NVIDIA SM100 e NPUs Huawei Ascend 950. Os usuários precisam de Linux, GCC 13.0 ou posterior e Python 3.12. Usuários NVIDIA também precisam de CUDA 13, e usuários Ascend precisam de CANN 9.2. O processo de compilação começa com a criação de um ambiente Python 3.12 vazio, a definição da variável DEEPINFER_ACCELERATOR como nvidia ou ascend e a execução do script de compilação.
O que está faltando na versão do DeepInfer?
A versão não é uma pilha de serviço completa. De acordo com o README, um serviço de inferência completo também exige um sistema de cache KV, a separação entre as cargas de trabalho de prefill e decode e o balanceamento de carga entre réplicas de paralelismo de dados para ambas as etapas. O projeto afirma que a maior parte da funcionalidade do motor necessária para essa separação já está implementada, mas os componentes em si não fazem parte desta versão.
A documentação do projeto descreve seus benchmarks de desempenho como executados em quatro GPUs SM100 para prefill e 64 para decode, com cada conjunto dentro de um único domínio de scale-up. Um script de varredura está incluído para que outras pessoas possam reproduzir os testes.
Segundo o README, o DeepInfer foi originalmente construído principalmente sobre o vLLM, com inspiração adicional do SGLang e do TensorRT-LLM. A DeepSeek credita os desenvolvedores desses projetos nas notas da versão.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.