¿Qué es DeepInfer y qué hace?

DeepSeek ha lanzado DeepInfer, un framework de inferencia de código abierto que, según la empresa, impulsa sus servicios de producción a gran escala. El código está alojado en GitHub y tiene licencia Apache License 2.0. La versión actual está diseñada para la inferencia offline y apunta a la tarea de ejecutar modelos grandes en muchos aceleradores al mismo tiempo.

El primer modelo compatible es DeepSeek-V4.1-Flash. El punto de control predeterminado, deepseek-ai/DeepSeek-V4.1-Flash-1017, se descarga en la caché de Hugging Face en la primera ejecución. Los desarrolladores que ya tengan una copia local pueden indicarle al framework que la use mediante una variable de entorno.

DeepInfer incluye un conjunto de kernels optimizados, entre ellos FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect y kernels personalizados de TileLang. También admite varias estrategias de paralelismo, entre ellas el paralelismo de datos de atención, el paralelismo de contexto equilibrado y el paralelismo de expertos de mezcla de expertos con EPLB. Un planificador asíncrono superpone la programación de lotes en la CPU con la ejecución en el dispositivo, y viene activado por defecto.

Decodificación y controles de salida

El framework usa un método de decodificación especulativa que el README llama DSpark. Se basa en tokens de borrador y estimaciones de confianza para decidir cuándo verificarlos. Los desarrolladores pueden definir la longitud máxima del borrador, que por defecto es 5.

Una segunda función, que el proyecto llama reproducción acotada de SWA en el decodificador, reduce el trabajo de prefill al reproducir solo un sufijo limitado de la entrada. Para la configuración predeterminada de V4.1, el sufijo retenido es de 140 tokens. La porción conservada debe cubrir la ventana deslizante más la longitud máxima de retroceso.

DeepInfer también ofrece inferencia invariante al lote, que mantiene idénticos los resultados del modelo sin importar cómo se agrupen las solicitudes en lotes. Esa función solo funciona en hardware NVIDIA, al igual que el muestreo determinista, que produce la misma salida para los mismos tokens de entrada y parámetros de muestreo. Las salidas estructuradas permiten a los desarrolladores restringir la generación a una expresión regular, un esquema JSON o una gramática EBNF.

Hardware, configuración y lo que falta

¿Qué hardware es compatible con DeepInfer?

El framework es compatible con GPU NVIDIA SM100 y NPU Huawei Ascend 950. Los usuarios necesitan Linux, GCC 13.0 o posterior y Python 3.12. Los usuarios de NVIDIA también necesitan CUDA 13, y los de Ascend necesitan CANN 9.2. El proceso de compilación comienza con la creación de un entorno Python 3.12 vacío, la configuración de la variable DEEPINFER_ACCELERATOR en nvidia o ascend, y la ejecución del script de compilación.

¿Qué le falta al lanzamiento de DeepInfer?

El lanzamiento no es una pila de servicio completa. Según el README, un servicio de inferencia completo también requiere un sistema de caché KV, la separación de las cargas de prefill y decode, y el balanceo de carga entre réplicas de paralelismo de datos para ambas etapas. El proyecto afirma que la mayor parte de la funcionalidad del motor necesaria para esa separación ya está implementada, pero los componentes en sí no forman parte de esta versión.

La documentación del proyecto describe sus pruebas de rendimiento como ejecutadas en cuatro GPU SM100 para prefill y 64 para decode, con cada conjunto dentro de un único dominio de escalado vertical. Se incluye un script de barrido para que otros puedan reproducir las pruebas.

Según el README, DeepInfer se construyó originalmente con base principalmente en vLLM, con inspiración adicional de SGLang y TensorRT-LLM. DeepSeek reconoce a los desarrolladores de esos proyectos en las notas de la versión.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.