Ubicloud reporta que activar la decodificación restringida en vLLM elevó la precisión del esquema de llamadas a herramientas de Kimi K2.6 del 92% al 100% en el benchmark K2VV ToolCall. El motor restringe cada paso de generación a los tokens que mantienen válida una llamada según su esquema. La empresa desplegó el cambio en producción después de que el benchmark verificara una precisión del 100% en todas las versiones de modelos que sirve.

Los errores en las llamadas a herramientas pueden reducir silenciosamente la calidad de un modelo de IA, y los modelos de pesos abiertos no son la excepción. Esa es la conclusión central de una nueva publicación técnica de Ubicloud, un proveedor de nube que sirve modelos Kimi y DeepSeek. Los ingenieros Jesse Donkervliet y Junhao Li informan que, al ejecutar Kimi K2.6 en vLLM versión 0.28, la salida coincidió con el esquema esperado de llamadas a herramientas solo el 92% de las veces. Dicho de otra manera, unas 2 de cada 25 llamadas a herramientas intentadas fallaron.

\n\n

¿Por qué importan los errores en las llamadas a herramientas para los agentes de IA?

El problema es más grave en cargas de trabajo agénticas, donde un modelo invoca herramientas externas a lo largo de muchos turnos. Una llamada mal formada no falla solo por sí misma. El mensaje de error vuelve a la ventana de contexto del modelo, el agente suele reintentar la operación y los tokens adicionales aumentan el costo. El equipo de Ubicloud sostiene que una llamada defectuosa también puede llevar al modelo por un camino sin sentido, lo que degrada el resto de la sesión.

\n\n

¿Por qué los modelos de lenguaje cometen errores de esquema en las llamadas a herramientas?

Garantizar la precisión del esquema es difícil porque los modelos de lenguaje generan tokens con base en la probabilidad. No ejecutan un compilador ni un verificador de tipos. Un modelo entrenado con muchos conjuntos de datos de llamadas a herramientas puede producir un nombre que vio durante el entrenamiento, como search_web cuando la herramienta activa es web_search, o city_name cuando el esquema espera location. Ni siquiera un prompt claro descarta por completo esos errores.

\n\n

Para medir el problema, el equipo utilizó un benchmark que Moonshot AI publicó para Kimi. El benchmark K2VV ToolCall ejecuta 2.000 solicitudes y evalúa dos aspectos: la similitud de activación, que mide cuándo un servicio decide hacer una llamada a herramienta en comparación con el servicio propio de Moonshot AI, y la precisión del esquema, que mide la proporción de llamadas a herramientas que pueden invocarse correctamente.

\n\n

¿Qué es la decodificación restringida?

La solución en la que se enfocó el equipo es la decodificación restringida. En lugar de permitir que el modelo muestree cualquier token y verificar el resultado después, el motor de inferencia restringe cada paso de generación a los tokens que mantienen válida la llamada a la herramienta. Los tokens permitidos provienen del esquema de la herramienta. vLLM implementa esto con etiquetas estructurales de la biblioteca XGrammar, que define la estructura válida de una llamada, incluyendo dónde comienza, dónde aparece el índice, dónde empiezan los argumentos y dónde debe generarse el JSON restringido por el esquema. Según la publicación, esto añade una sobrecarga de rendimiento insignificante, porque las máscaras de tokens se precalculan para cada fase y se aplican de manera eficiente en la GPU.

\n\n

Ubicloud primero añadió la decodificación restringida a su propia bifurcación de vLLM. Después de que vLLM incorporara la función en la versión 0.25, la empresa cambió a la versión original para Kimi y DeepSeek. Entonces, la puntuación de precisión volvió a caer al 91%.

\n\n

El equipo atribuyó la caída a un cambio en los valores predeterminados de vLLM y no a un defecto de la función en sí. Los ingenieros confirmaron que la implementación de decodificación restringida de vLLM seguía siendo correcta. Lo que había cambiado era el comportamiento de las solicitudes que no activaban explícitamente la función. vLLM está diseñado para dar soporte a una amplia gama de modelos, y la decodificación restringida debe ajustarse para cada uno. La publicación agrupa los problemas en tres categorías. Algunos modelos se desvían bruscamente de su esquema de herramientas cuando no están restringidos, lo que los empuja hacia tokens que de otro modo no elegirían. La publicación cita a usuarios de gpt-oss-20b, Qwen 3.6 y GLM 5.1 que reportaron problemas después de que la función se activara por defecto. Otros problemas provienen de errores al traducir el esquema del modelo o el formato de llamadas a herramientas a una gramática, lo que puede causar llamadas inválidas, fallos en las solicitudes o restricciones descartadas en silencio. Un tercer grupo surge de interacciones con otras funciones de servicio. La publicación da un ejemplo en el que la decodificación especulativa hizo que la gramática rechazara incorrectamente tokens, lo que provocó solicitudes fallidas.

\n\n

Por estos problemas, los responsables de mantenimiento de vLLM decidieron desactivar la decodificación restringida por defecto, lo que la publicación describe como la opción más segura para un motor independiente del modelo. Posteriormente, vLLM añadió el indicador --tool-strict-level para que los operadores puedan definir la rigurosidad de las llamadas a herramientas en sus propios despliegues.

\n\n

Ubicloud adopta un enfoque distinto porque su alcance es más acotado. La empresa sirve modelos Kimi y DeepSeek y quiere que cumplan la calidad que los usuarios esperan de los proveedores originales. Activó la decodificación restringida y volvió a ejecutar el benchmark K2VV ToolCall. Tras verificar una precisión del 100% en las llamadas a herramientas en todas las versiones de modelos que sirve, la empresa desplegó el cambio en producción.

\n\n

Los autores extraen una lección más amplia de este trabajo. La calidad de un LLM depende del motor de inferencia tanto como del modelo, y cambiar el motor o su configuración puede alterar la salida. El equipo afirma que observó una degradación de calidad visible en Kimi K2.6 y DeepSeek V4 Flash por errores de esquema en las llamadas a herramientas, y que activar la decodificación restringida elevó su precisión en K2VV ToolCall del 92% al 100%.

Questo articolo è stato scritto con l'assistenza dell'IA.
News Factory APP - notizie agentiche per potenziare il tuo SEO e AEO.