Um novo projeto de código aberto chamado TrnRT foi projetado para executar grandes modelos de linguagem em chips AWS Trainium2, e seus desenvolvedores afirmam que um único servidor trn2.48xlarge é suficiente para realizar a tarefa. O motor oferece uma API compatível com a OpenAI, o que significa que aplicações criadas para as bibliotecas cliente da OpenAI podem apontar para ele com alterações mínimas.

O projeto, publicado sob a Licença Apache 2.0 e desenvolvido pela empresa RunAnywhere, atualmente oferece suporte a um modelo: o GLM-5.3-Flash, um modelo de mistura de especialistas com 320 bilhões de parâmetros, 18 bilhões de parâmetros ativos, precisão FP8 e janela de contexto de 1 milhão de tokens. Os desenvolvedores afirmam que mais modelos abertos estão a caminho. O motor, o roteador, os caches e o pipeline de compilação foram construídos para aceitar famílias de modelos adicionais, e o repositório inclui um documento que descreve o que um novo modelo exigiria.

Grande parte do trabalho de otimização de LLMs está na etapa de decodificação, em que o modelo gera a saída um token por vez. O TrnRT executa a decodificação com o que a equipe chama de megakernels NKI, kernels fundidos que cobrem cada um aproximadamente metade de uma camada do modelo. Os kernels fundidos cuidam da atenção KDA, de uma camada DSA fundida, do mHC e da rede feed-forward de mistura de especialistas. Os desenvolvedores escrevem que a decodificação nesse hardware não é limitada pela largura de banda de memória. Em vez disso, instruções pequenas, limites entre kernels e operações coletivas expostas dominam o trabalho, de modo que cada megakernel mantém seu conjunto de trabalho na memória on-chip, usa os dois núcleos físicos de forma simétrica e move as operações coletivas para dentro do kernel.

O motor também inclui um cache de prefixo construído como uma árvore radix sobre páginas de chave-valor em FP8. As páginas removidas e os checkpoints de estado podem migrar para um nível de memória do host, o que, segundo a equipe, ajuda a evitar que o contexto repetido seja recalculado. Cada máquina trn2.48xlarge executa dois motores, e cada motor usa paralelismo de tensores em 32 NeuronCores lógicos. Um roteador com afinidade de sessão mantém uma conversa no mesmo motor, para que ele possa reutilizar seu prefixo em cache. Os desenvolvedores podem passar um ID de sessão pela API para isso acontecer.

Como configurar o TrnRT na AWS Trainium2?

A configuração envolve duas máquinas. A compilação do modelo acontece offline em qualquer host x86_64 que não precise de um NeuronCore, e o README alerta que a etapa de compilação leva horas. Os grafos compilados são então copiados para o servidor trn2.48xlarge, que os carrega e, por padrão, não compila nada. O Quickstart exige Docker, o Neuron SDK 2.32 com neuronx-cc 2.27 e Python 3.13. Os pesos do modelo são baixados do Hugging Face.

Qual é a velocidade de decodificação do TrnRT?

Os benchmarks do projeto usam o teste AgentX, da SemiAnalysis, que reproduz sessões reais de agentes de programação. Uma máquina trn2.48xlarge executou o teste com contexto de 1 milhão de tokens e 32 agentes simultâneos, por uma hora para cada ponto de dados. Com tamanho de lote de decodificação igual a 4, o servidor processou 19,3 requisições por minuto e gerou 46,6 tokens por segundo por usuário na mediana. Com lote 8, processou 25,2 requisições por minuto, com 29,4 tokens por segundo por usuário. A configuração padrão, com lote 12, entregou 28,9 requisições por minuto e 3,57 milhões de tokens por minuto, com mediana de 22,3 tokens de decodificação por segundo por usuário. O tempo mediano até o primeiro token com prompt em cache foi de 6,53 segundos no lote 12, ante 76,73 segundos no lote 4.

Quanto custa o TrnRT por milhão de tokens?

Os valores de custo dependem de como o hardware é alugado. A equipe lista um preço spot de US$ 8,60 por hora na região us-east-2, em 3 de novembro de 2026, o que resulta em US$ 0,040 por milhão de tokens no lote 12. Em um capacity block com preço de US$ 35,76 por hora, a mesma configuração custa US$ 0,167 por milhão de tokens. A equipe inclui nesses totais tanto os tokens de entrada, incluindo a entrada em cache, quanto os tokens de saída.

Os desenvolvedores observam que os números de benchmark vieram de uma versão anterior do TrnRT. Eles afirmam que o repositório atual passa em três verificações em relação a essa versão: equivalência de grafos em todos os 32 ranks para 157 grafos na configuração padrão de lote 12, saídas byte a byte idênticas em 384 de 384 requisições de teste e uma execução completa da configuração de serviço com dois motores descrita no Quickstart.

O TrnRT credita a equipe AWS Neuron pelo NKI e sua documentação, a Z.ai pelo lançamento do GLM-5.3-Flash e a SemiAnalysis pelo AgentX e seus rastros públicos. O projeto afirma que é independente e não é afiliado nem endossado pela Amazon Web Services.

Este artigo foi escrito com a assistência de IA.
News Factory APP - notícias agênticas para impulsionar seu SEO e AEO.