Un nuevo proyecto de código abierto llamado TrnRT está diseñado para ejecutar modelos de lenguaje grandes en chips AWS Trainium2, y sus desarrolladores afirman que un solo servidor trn2.48xlarge es suficiente para cumplir esa tarea. El motor sirve una API compatible con OpenAI, lo que significa que las aplicaciones creadas para las bibliotecas cliente de OpenAI pueden apuntar hacia él con cambios mínimos.

El proyecto, publicado bajo la Licencia Apache 2.0 y desarrollado por la empresa RunAnywhere, actualmente admite un modelo: GLM-5.3-Flash, un modelo de mezcla de expertos de 320.000 millones de parámetros, con 18.000 millones de parámetros activos, precisión FP8 y una ventana de contexto de 1 millón de tokens. Los desarrolladores afirman que más modelos abiertos están en camino. El motor, el enrutador, las cachés y la canalización de compilación están diseñados para aceptar familias de modelos adicionales, y el repositorio incluye un documento que describe lo que necesitaría un nuevo modelo.

Gran parte del trabajo de optimización de LLM se concentra en la etapa de decodificación, donde el modelo genera la salida un token a la vez. TrnRT ejecuta la decodificación como lo que el equipo llama megakernels NKI, núcleos fusionados que cubren cada uno aproximadamente la mitad de una capa del modelo. Los núcleos fusionados manejan la atención KDA, una capa DSA fusionada, mHC y la red feed-forward de mezcla de expertos. Los desarrolladores escriben que la decodificación en este hardware no está limitada por el ancho de banda de memoria. En cambio, las instrucciones pequeñas, los límites entre núcleos y las colectivas expuestas dominan el trabajo, por lo que cada megakernel mantiene su conjunto de trabajo en la memoria en chip, usa ambos núcleos físicos de manera simétrica y mueve las operaciones colectivas dentro del núcleo.

El motor también incluye una caché de prefijos construida como un árbol radix sobre páginas de clave-valor en FP8. Las páginas desalojadas y los puntos de control de estado pueden trasladarse a un nivel de memoria del host, lo que, según el equipo, ayuda a evitar que el contexto repetido deba recalcularse. Cada equipo trn2.48xlarge ejecuta dos motores, y cada motor tiene paralelismo de tensores en 32 NeuronCores lógicos. Un enrutador de afinidad de sesión mantiene una conversación en el mismo motor para poder reutilizar su prefijo en caché. Los desarrolladores pueden pasar un ID de sesión a través de la API para lograrlo.

¿Cómo se configura TrnRT en AWS Trainium2?

La configuración involucra dos máquinas. La compilación del modelo se realiza sin conexión en cualquier host x86_64 que no necesite un NeuronCore, y el README advierte que el paso de compilación tarda horas. Los grafos compilados se copian luego al servidor trn2.48xlarge, que los carga y, por defecto, no compila nada. La guía de inicio rápido requiere Docker, el SDK de Neuron 2.32 con neuronx-cc 2.27 y Python 3.13. Los pesos del modelo se descargan desde Hugging Face.

¿Qué tan rápido es el rendimiento de decodificación de TrnRT?

Las pruebas de referencia del proyecto usan la prueba AgentX de SemiAnalysis, que reproduce sesiones reales de agentes de programación. Un equipo trn2.48xlarge ejecutó la prueba con un contexto de 1 millón de tokens y 32 agentes concurrentes, durante una hora por punto de datos. Con un tamaño de lote de decodificación de 4, el servidor atendió 19.3 solicitudes por minuto y produjo 46.6 tokens por segundo por usuario en la mediana. Con lote 8, atendió 25.2 solicitudes por minuto, con 29.4 tokens por segundo por usuario. La configuración predeterminada de lote 12 entregó 28.9 solicitudes por minuto y 3.57 millones de tokens por minuto, con una mediana de 22.3 tokens de decodificación por segundo por usuario. El tiempo mediano hasta el primer token con un prompt en caché fue de 6.53 segundos en lote 12, frente a 76.73 segundos en lote 4.

¿Cuánto cuesta TrnRT por millón de tokens?

Las cifras de costo dependen de cómo se alquila el hardware. El equipo indica un precio spot de $8.60 por hora en us-east-2 a fecha del 3 de noviembre de 2026, lo que equivale a $0.040 por millón de tokens en lote 12. En un bloque de capacidad con precio de $35.76 por hora, la misma configuración cuesta $0.167 por millón de tokens. El equipo cuenta tanto los tokens de entrada, incluidos los de entrada en caché, como los de salida en esos totales.

Los desarrolladores señalan que las cifras de las pruebas de referencia provienen de una versión anterior de TrnRT. Afirman que el repositorio actual supera tres verificaciones frente a esa versión: equivalencia de grafos en los 32 rangos para 157 grafos en la configuración predeterminada de lote 12, salidas idénticas byte a byte en 384 de 384 solicitudes de prueba, y una prueba de extremo a extremo de la configuración de servicio con dos motores descrita en la guía de inicio rápido.

TrnRT reconoce al equipo de AWS Neuron por NKI y su documentación, a Z.ai por publicar GLM-5.3-Flash, y a SemiAnalysis por AgentX y sus trazas públicas. El proyecto declara que es independiente y que no está afiliado ni respaldado por Amazon Web Services.

This article was written with the assistance of AI.
News Factory APP - agentic news to boost your SEO & AEO.