Engenheiros da Amazon substituíram o Claude Sonnet 4.6 pelo Strands Decider, um modelo de decisão, para rotular tickets em um sistema interno de tickets. A equipe estima que a mudança reduz o custo por ticket em cerca de 98% e o tempo médio de chamada em 78%, e afirma que o E4B superou a configuração de produção com o Sonnet em um conjunto de testes separado. A abordagem é adequada para tarefas de escolha fechada com alto volume.

A Amazon substituiu um de seus próprios fluxos de trabalho baseados em grandes modelos de linguagem por um sistema muito menor, e a empresa afirma que a troca reduz os custos em 98% sem prejudicar a precisão. Dois engenheiros da Amazon, identificados no relatório como Carr e Mehul, trocaram o Claude Sonnet 4.6 pelo Strands Decider, um modelo de decisão lançado pela empresa há um mês. A mudança se aplica a um sistema interno de tickets que lida com escalonamentos de clientes, solicitações de capacidade, alarmes automatizados e descobertas de segurança.

\n\n

O Sonnet 4.6 vinha rotulando esses tickets havia algum tempo, e os engenheiros dizem que ele fazia bem o trabalho. O modelo tem nove meses de existência, e a equipe o considerava um bom equilíbrio entre inteligência e custo. Mas o volume era enorme, e cada ticket exigia um prompt de sistema longo, uma resposta em JSON e um raciocínio sobre um conjunto fixo de 20 rótulos. Isso se acumula rapidamente.

\n\n

Como um modelo de decisão difere de um LLM?

Os engenheiros encontraram uma abordagem diferente em um modelo de decisão. Em vez de gerar texto, um modelo de decisão recebe um estado e uma pergunta com um conjunto de opções. Em seguida, retorna uma probabilidade para cada opção, junto com uma pontuação de confiança. Na rotulagem de tickets, o ticket é o estado e o catálogo de rótulos se torna o conjunto de opções. A equipe começou com o modelo Strands Decider 2B original, mas uma versão do Gemma 4 conhecida como E4B produziu resultados claramente melhores em um conjunto de testes, e por isso eles migraram para ela. Depois, ajustaram o nível de confiança que o modelo precisava ter antes de aplicar um rótulo. Em um conjunto separado de tickets da empresa, o E4B superou a configuração de produção com o Sonnet.

\n\n

Os engenheiros não simplesmente acionaram a troca e torceram para dar certo. Sua função de rotulagem lê uma configuração de três vias no AWS AppConfig a cada mensagem. No modo BEDROCK, o Sonnet rotula todos os tickets e o Strands Decider não é chamado. No modo DUAL, os dois modelos são executados em paralelo, os resultados do Sonnet são aplicados ao ticket e as duas saídas são comparadas. No modo DECIDER, o Strands Decider rotula todos os tickets e o Bedrock não é chamado. Executar os dois modelos com tráfego real e revisar cada divergência deu à equipe, segundo escreveram, informações mais úteis do que uma avaliação offline teria dado.

\n\n

Os ganhos de desempenho foram substanciais. O tempo médio por chamada caiu de 4.215 milissegundos com o Sonnet 4.6 para 897 milissegundos com o E4B, uma melhora de 78%. O total de tokens por ticket caiu de 6.724 para 2.010, uma redução de 70%. A equipe atribui grande parte dessa queda ao formato de saída. O Strands Decider produz uma única escolha, e não uma resposta em JSON, e seu prompt é bem mais curto. Só as descrições de rótulos de produção ultrapassavam a janela de 4.096 tokens do modelo, por isso os engenheiros reescreveram cada um dos 20 rótulos como um critério de uma ou duas frases. Em tickets longos, o modelo de decisão descarta os comentários mais antigos para caber na janela, embora os engenheiros tenham dito que, fora isso, os dados do ticket correspondem ao que o Sonnet recebe. A duração média de execução do Lambda caiu 74% no dia em que a equipe desligou o uso do Sonnet.

\n\n

Quanto mais barato é um modelo de decisão em comparação com o Claude Sonnet?

O custo é onde os números se tornam impressionantes. Com base nos preços públicos sob demanda na região us-east-1, o Sonnet 4.6 custa cerca de US$ 0,0222 por ticket, ou aproximadamente US$ 22.200 por milhão de tickets. O modelo E4B roda em instâncias ml.g5.xlarge do SageMaker, que custam US$ 1,408 por hora de instância. Os engenheiros estimam que o modelo custa cerca de US$ 0,0005 por ticket, ou aproximadamente US$ 500 por milhão de tickets, quando se considera uma margem para picos de demanda. Isso representa cerca de 44 vezes menos que o Sonnet. A estimativa não inclui os custos do Lambda, embora a equipe tenha observado que o Lambda também passou a rodar por menos tempo por ticket.

\n\n

Os engenheiros também apontaram uma peculiaridade que os surpreendeu. Enviar o mesmo conteúdo com as chaves do JSON em uma ordem diferente alterou as probabilidades de saída em até 0,19. A equipe agora ordena as chaves em cada requisição e recomendou que qualquer pessoa que sirva um modelo de decisão por meio de uma API verifique o mesmo problema antes de comparar resultados.

\n\n

Quando um modelo de decisão não substitui um LLM?

Os engenheiros fizeram questão de dizer que a abordagem não serve para todas as tarefas. Ela funcionou porque o trabalho é uma escolha fechada a partir de um catálogo conhecido, o volume é alto e a latência no cenário anterior importava. Se os rótulos exigirem texto explicativo, se o catálogo mudar semanalmente ou se o contexto útil não couber em poucos milhares de tokens, a equipe escreveu que um modelo de decisão provavelmente não pode substituir um LLM. Os engenheiros disseram que a troca de três vias é a parte que reaproveitariam independentemente do modelo escolhido.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.