El aprendizaje por refuerzo para modelos de lenguaje grandes es sensible a errores numéricos minúsculos. Incluso pequeñas discrepancias entre el paso que genera las salidas de un modelo y el paso que actualiza sus pesos pueden desestabilizar el entrenamiento o estancar la convergencia. Los ingenieros de Google afirman haber encontrado una forma de cerrar esa brecha en las Unidades de Procesamiento Tensorial, o TPU, de modo que los dos sistemas coincidan exactamente.

¿Por qué difieren las probabilidades del muestreador y del entrenador en el aprendizaje por refuerzo?

El problema está en la forma como se construyen las pilas de aprendizaje por refuerzo en producción. El muestreo y el entrenamiento se ejecutan por rutas de ejecución separadas y especializadas. El muestreador elige cada token de acción durante la decodificación incremental y registra su probabilidad. El entrenador evalúa después ese mismo token en pasadas hacia adelante y hacia atrás por lotes para calcular su probabilidad actual y sus gradientes. Incluso cuando ambos sistemas tienen pesos idénticos, pueden asignar probabilidades distintas al mismo token en el mismo contexto. El cronograma es fuera de política, pero la aritmética no lo es, y la discrepancia se acumula en las conversaciones de varios turnos.

La causa es el redondeo. Una reducción, que combina muchos números en uno solo, es un árbol de sumas de punto flotante. La suma de punto flotante no es asociativa, por lo que cambiar el orden del árbol cambia dónde ocurre el redondeo. El efecto es más fácil de ver en bfloat16, un formato con menor precisión que float32. En el ejemplo del equipo, cerca del valor 2.0, cada entrada pequeña equivale a la mitad de la distancia al siguiente número bfloat16 representable. Sumar las entradas una por una las descarta, mientras que agruparlas primero sí alcanza el valor siguiente.

El mismo problema aparece en todo el modelo. Los productos matriciales acumulan sumas parciales, la normalización calcula estadísticas y los fragmentos de paralelismo de tensores combinan salidas parciales. En la pila original del equipo, el muestreador y el entrenador usaban formas distintas de arreglos de tokens y diferentes implementaciones de pase hacia adelante. JAX, el marco numérico que usa el equipo, especializa los cálculos según las formas de sus entradas, y el pase hacia adelante del entrenamiento también se ejecuta dentro de un programa diferenciado. En conjunto, estas diferencias significaron que el orden de reducción y la precisión intermedia no estaban alineados de forma consistente. Los pesos y las ecuaciones del modelo eran los mismos. La aritmética no lo era.

Para solucionar esto, el equipo fijó un estándar estricto. En el decodificado del muestreador, el prefill de servicio y los pases hacia adelante del entrenador, las tres rutas deben producir logprobs idénticos bit a bit para cada acción muestreada. La comparación examina los bytes de punto flotante sin procesar, con los mismos pesos de despliegue, historial de tokens y configuraciones de muestreo, sin redondeo ni tolerancia permitidos.

El equipo añadió el prefill de servicio como un punto de control intermedio. Una comparación directa entre muestreador y entrenador puede mostrar que existe una brecha, pero no dónde comienza. Con el paso intermedio, los ingenieros pueden hacer una verificación en dos etapas. Comparar el decodificado del muestreador con el prefill permite comprobar si el motor de servicio concuerda consigo mismo cuando genera tokens de forma incremental y cuando vuelve a puntuar la secuencia completa. Comparar el prefill con el entrenador permite verificar si los motores de servicio y de entrenamiento concuerdan a través de los límites de compilación y diferenciación.

¿Qué es Zero-TIM y cómo funciona?

Zero-TIM no requiere fusionar el muestreador y el entrenador en un solo motor. En cambio, el equipo usa un enfoque de cuatro partes. Primero, bloquea el orden de acumulación dentro de cada rango de paralelismo de tensores mediante núcleos Pallas invariantes por lote, que son núcleos personalizados escritos para la TPU. Los núcleos de proyección recorren bloques fijos en un orden establecido, y los productos parciales se acumulan en float32 antes de convertirse al tipo de salida. Segundo, el equipo ordena las reducciones entre fragmentos. Cada rango produce una salida parcial, las parciales se transportan por separado y luego se suman en el mismo orden de rango de origen cada vez. Tercero, estandariza el paso de puntuación de logprob, de modo que el decodificado, el prefill y el entrenamiento apliquen transformaciones de muestreo equivalentes y la misma construcción de log-softmax. Las rutas también conservan los identificadores de tokens muestreados entre turnos del entorno, de manera que todas evalúan el mismo historial. Cuarto, el entrenador reutiliza el cálculo del prefill de servicio. Reglas de gradiente personalizadas mantienen los núcleos de servicio para la evaluación hacia adelante, mientras que una réplica separada del cálculo se usa solo para construir el pase hacia atrás.

¿Cómo se probó Zero-TIM?

El equipo probó el método en un entorno sintético de FrozenLake. El punto de referencia se ejecutó durante 200 pasos de entrenamiento con un punto de control público de Qwen3-8B en 64 chips TPU v5p dispuestos en una malla DP8 por TP8. La receta usó una pérdida GSPO-token con ventajas de dejar uno fuera. El equipo comparó tres enfoques: entrenamiento estándar con logprobs del entrenador antiguo y sin corrección del muestreador, muestreo por importancia truncado a nivel de token y Zero-TIM.

Zero-TIM registró una diferencia absoluta media igual a cero entre los logprobs del muestreador y del entrenador en cada paso registrado dentro de la ventana de prueba, mientras su tasa de resolución en el entrenamiento aumentaba. El entrenamiento estándar y el muestreo por importancia truncado mantuvieron diferencias distintas de cero. Los autores señalan que el muestreo por importancia truncado ajusta cómo esas diferencias afectan la actualización, pero no elimina la discrepancia subyacente. Zero-TIM también alcanzó tasas de resolución observadas más altas en estas ejecuciones. Los resultados provienen de ejecuciones de entrenamiento con una sola semilla en cuadrículas de FrozenLake que van desde 2 por 2 hasta 9 por 9, con hasta cinco turnos de interacción, por lo que reflejan un solo conjunto de condiciones y no un estudio amplio.

El trabajo se basa en esfuerzos recientes de código abierto en la comunidad de sistemas de IA. Los autores citan vLLM con TorchTitan y RadixArk, y Miles de LMSys, como proyectos que han mostrado cómo los núcleos invariantes por lote y la alineación bit a bit pueden prevenir la deriva fuera de política. La contribución de Google es una implementación modular de código abierto con JAX, XLA y Pallas para TPU dentro de Tunix, que la compañía describe como su biblioteca de código abierto nativa de JAX para el aprendizaje por refuerzo de LLM y el posentrenamiento en Cloud TPU.

El equipo afirma que los patrones de núcleos y el enfoque de verificación triple están diseñados para ser modulares, de modo que otras canalizaciones de servicio y entrenamiento de JAX y TPU con múltiples hosts puedan adoptarlos. Los ingenieros dicen que están extendiendo el soporte a arquitecturas de atención lineal y de Mezcla de Expertos. Hay disponible una vista previa de la implementación actual.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.