A Ubicloud relata que a ativação da decodificação restrita no vLLM elevou a precisão do esquema de chamadas de ferramentas do Kimi K2.6 de 92% para 100% no benchmark K2VV ToolCall. O motor restringe cada etapa de geração a tokens que mantêm uma chamada válida em relação ao seu esquema. A empresa implantou a mudança em produção depois que o benchmark verificou 100% de precisão entre as versões de modelo servidas.
Erros em chamadas de ferramentas podem reduzir silenciosamente a qualidade de um modelo de IA, e os modelos de pesos abertos não são exceção. Essa é a principal conclusão de uma nova publicação técnica da Ubicloud, provedora de nuvem que oferece modelos Kimi e DeepSeek. Os engenheiros Jesse Donkervliet e Junhao Li relatam que, ao executar o Kimi K2.6 na versão 0.28 do vLLM, a saída correspondia ao esquema esperado de chamada de ferramenta em apenas 92% das vezes. Dito de outra forma, cerca de 2 em cada 25 chamadas de ferramentas tentadas falharam.
\n\nPor que os erros em chamadas de ferramentas importam para agentes de IA?
O problema é mais relevante para cargas de trabalho agênticas, nas quais um modelo chama ferramentas externas ao longo de muitas interações. Uma chamada malformada não falha apenas isoladamente. A mensagem de erro volta para a janela de contexto do modelo, o agente costuma tentar novamente e os tokens extras aumentam o custo. A equipe da Ubicloud argumenta que uma chamada ruim também pode levar o modelo a um caminho sem sentido, o que degrada o restante da sessão.
\n\nPor que os modelos de linguagem cometem erros de esquema em chamadas de ferramentas?
A precisão de esquema é difícil de garantir porque os modelos de linguagem geram tokens com base em probabilidade. Eles não executam um compilador nem um verificador de tipos. Um modelo treinado com muitos conjuntos de dados de chamadas de ferramentas pode produzir um nome que viu durante o treinamento, como search_web quando a ferramenta ativa é web_search, ou city_name quando o esquema espera location. Mesmo um prompt claro não elimina esses erros.
\n\nPara medir o problema, a equipe usou um benchmark que a Moonshot AI publicou para o Kimi. O benchmark K2VV ToolCall executa 2.000 requisições e avalia duas coisas: a similaridade de acionamento, que mede quando um serviço decide fazer uma chamada de ferramenta em comparação com o próprio serviço da Moonshot AI, e a precisão de esquema, que mede a proporção de chamadas de ferramentas que podem ser invocadas com sucesso.
\n\nO que é a decodificação restrita?
A solução que a equipe adotou é a decodificação restrita. Em vez de deixar o modelo amostrar qualquer token e verificar o resultado depois, o motor de inferência restringe cada etapa de geração a tokens que mantêm a chamada de ferramenta válida. Os tokens permitidos vêm do esquema da ferramenta. O vLLM implementa isso usando tags estruturais da biblioteca XGrammar, que define a estrutura válida de uma chamada, incluindo onde ela começa, onde aparece o índice, onde começam os argumentos e onde deve ser gerado o JSON restrito pelo esquema. Segundo a publicação, isso adiciona sobrecarga de desempenho insignificante, porque as máscaras de tokens são pré-calculadas para cada fase e aplicadas de forma eficiente na GPU.
\n\nA Ubicloud adicionou primeiro a decodificação restrita ao seu próprio fork do vLLM. Depois que o vLLM incluiu o recurso na versão 0.25, a empresa passou a usar a versão upstream para Kimi e DeepSeek. Então, a pontuação de precisão caiu novamente para 91%.
\n\nA equipe atribuiu a queda a uma mudança nos padrões do vLLM, e não a uma falha do próprio recurso. Os engenheiros confirmaram que a implementação de decodificação restrita do vLLM continuava correta. O que mudou foi o comportamento das requisições que não ativavam explicitamente o recurso. O vLLM foi projetado para dar suporte a uma ampla gama de modelos, e a decodificação restrita precisa ser ajustada para cada um deles. A publicação agrupa os problemas em três categorias. Alguns modelos se desviam bastante do esquema de ferramentas quando não são restringidos, o que os leva a tokens que não escolheriam de outra forma. A publicação cita usuários do gpt-oss-20b, Qwen 3.6 e GLM 5.1 que relataram problemas depois que o recurso passou a ser ativado por padrão. Outros problemas vêm de bugs na tradução do esquema de um modelo ou do formato de chamada de ferramentas para uma gramática, o que pode causar chamadas inválidas, falhas em requisições ou restrições descartadas silenciosamente. Um terceiro grupo surge de interações com outros recursos de serviço. A publicação dá como exemplo um caso em que a decodificação especulativa fez a gramática rejeitar incorretamente alguns tokens, resultando em falhas nas requisições.
\n\nPor causa desses problemas, os mantenedores do vLLM optaram por desativar a decodificação restrita por padrão, o que a publicação descreve como a escolha mais segura para um motor agnóstico em relação a modelos. Mais tarde, o vLLM adicionou a flag --tool-strict-level, para que os operadores possam definir o rigor das chamadas de ferramentas em suas próprias implantações.
\n\nA Ubicloud adota uma abordagem diferente porque seu foco é mais restrito. A empresa oferece modelos Kimi e DeepSeek e quer que eles atendam à qualidade que os usuários esperam de provedores de primeira linha. Ela ativou a decodificação restrita e executou novamente o benchmark K2VV ToolCall. Depois de verificar 100% de precisão de esquema em chamadas de ferramentas em todas as versões de modelo servidas, a empresa implantou a mudança em produção.
\n\nOs autores tiram uma lição mais ampla do trabalho. A qualidade de um LLM depende do motor de inferência tanto quanto do modelo, e alterar o motor ou suas configurações pode mudar a saída. A equipe afirma ter observado uma degradação visível de qualidade no Kimi K2.6 e no DeepSeek V4 Flash por causa de erros de esquema em chamadas de ferramentas, e que a ativação da decodificação restrita elevou sua precisão no K2VV ToolCall de 92% para 100%.
This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.