O aprendizado por reforço para grandes modelos de linguagem é sensível a pequenos erros numéricos. Mesmo discrepâncias pequenas entre a etapa que gera as saídas de um modelo e a etapa que atualiza seus pesos podem desestabilizar o treinamento ou paralisar a convergência. Engenheiros do Google afirmam ter encontrado uma forma de fechar essa lacuna em Tensor Processing Units, ou TPUs, de modo que os dois sistemas concordem exatamente.

Por que as probabilidades do amostrador e do treinador diferem no aprendizado por reforço?

O problema está na forma como as pilhas de aprendizado por reforço em produção são construídas. A amostragem e o treinamento são executados por caminhos de execução separados e especializados. O amostrador escolhe cada token de ação durante a decodificação incremental e registra sua probabilidade. O treinador avalia depois esse mesmo token em passagens diretas e reversas em lote para calcular sua probabilidade atual e seus gradientes. Mesmo quando os dois sistemas têm pesos idênticos, eles podem atribuir probabilidades diferentes ao mesmo token no mesmo contexto. O cronograma é fora da política, mas a aritmética não é, e a discrepância se acumula ao longo de conversas com múltiplos turnos.

A causa é o arredondamento. Uma redução, que combina muitos números em um só, é uma árvore de somas de ponto flutuante. A adição de ponto flutuante não é associativa, portanto mudar a ordem da árvore muda onde ocorre o arredondamento. O efeito é mais fácil de observar no bfloat16, um formato com menos precisão do que o float32. No exemplo da equipe, próximo ao valor 2,0, cada pequena entrada equivale à metade da distância até o próximo número bfloat16 representável. Somar as entradas uma a uma as descarta, enquanto agrupá-las primeiro alcança o valor seguinte.

O mesmo problema aparece em todo o modelo. Produtos de matrizes acumulam somas parciais, a normalização calcula estatísticas e os fragmentos de paralelismo de tensores combinam saídas parciais. Na pilha original da equipe, o amostrador e o treinador usavam formatos diferentes de arrays de tokens e implementações distintas de passagem direta. O JAX, o framework numérico utilizado pela equipe, especializa as computações para as formas de suas entradas, e a passagem direta de treinamento também é executada dentro de um programa diferenciado. Juntas, essas diferenças fizeram com que a ordem das reduções e a precisão intermediária não estivessem consistentemente alinhadas. Os pesos e as equações do modelo eram os mesmos. A aritmética, não.

Para corrigir isso, a equipe estabeleceu um padrão rigoroso. Em todos os caminhos de decodificação do amostrador, de preenchimento prévio na inferência e de passagem direta do treinador, os três devem produzir logprobs idênticos bit a bit para cada ação amostrada. A comparação analisa os bytes brutos de ponto flutuante, com os mesmos pesos de rollout, histórico de tokens e configurações de amostragem, sem arredondamento nem tolerância permitidos.

A equipe adicionou o preenchimento prévio de inferência como um ponto de verificação intermediário. Uma comparação direta entre amostrador e treinador pode mostrar que existe uma lacuna, mas não onde ela começa. Com a etapa intermediária, os engenheiros podem executar uma verificação em dois estágios. Comparar a decodificação do amostrador com o preenchimento prévio testa se o mecanismo de inferência concorda consigo mesmo quando gera tokens incrementalmente e quando reavalia a sequência completa. Comparar o preenchimento prévio com o treinador testa se os mecanismos de inferência e de treinamento concordam através das fronteiras de compilação e diferenciação.

O que é o Zero-TIM e como ele funciona?

O Zero-TIM não exige unir o amostrador e o treinador em um único mecanismo. Em vez disso, a equipe usa uma abordagem em quatro partes. Primeiro, ele fixa a ordem de acumulação dentro de cada rank de paralelismo de tensores usando kernels Pallas invariantes em lote, que são kernels personalizados escritos para a TPU. Os kernels de projeção percorrem blocos fixos em uma ordem definida, e os produtos parciais se acumulam em float32 antes de serem convertidos para o tipo de saída. Segundo, a equipe ordena as reduções entre fragmentos. Cada rank produz uma saída parcial, e as parciais são transportadas separadamente e depois somadas sempre na mesma ordem de ranks de origem. Terceiro, padroniza a etapa de pontuação de logprob, de modo que decodificação, preenchimento prévio e treinamento apliquem transformações de amostragem equivalentes e a mesma construção de log-softmax. Os caminhos também preservam os IDs de tokens amostrados entre os turnos do ambiente, para que todos avaliem o mesmo histórico. Quarto, o treinador reutiliza a computação de preenchimento prévio da inferência. Regras de gradiente personalizadas mantêm os kernels de inferência para a avaliação direta, enquanto uma réplica separada da computação é usada apenas para construir a passagem reversa.

Como o Zero-TIM foi testado?

A equipe testou o método em um ambiente sintético FrozenLake. O benchmark foi executado por 200 passos de treinamento usando um checkpoint público do Qwen3-8B em 64 chips TPU v5p organizados em uma malha DP8 por TP8. A receita utilizou uma perda GSPO-token com vantagens leave-one-out. A equipe comparou três abordagens: treinamento padrão com logprobs do treinador antigo e sem correção do amostrador, amostragem por importância truncada no nível de token e o Zero-TIM.

O Zero-TIM registrou diferença absoluta média igual a zero entre os logprobs do amostrador e do treinador em todos os passos registrados na janela de teste, enquanto sua taxa de solução de treinamento aumentou. O treinamento padrão e a amostragem por importância truncada mantiveram diferenças não nulas. Os autores observam que a amostragem por importância truncada ajusta como essas diferenças afetam a atualização, mas não elimina a discrepância subjacente. O Zero-TIM também alcançou taxas de solução observadas mais altas nessas execuções. Os resultados vêm de execuções de treinamento com uma única semente, em grades do FrozenLake que vão de 2 por 2 a 9 por 9, com até cinco turnos de interação, por isso refletem um conjunto específico de condições, e não um levantamento amplo.

O trabalho se baseia em esforços recentes de código aberto em toda a comunidade de sistemas de IA. Os autores citam o vLLM com o TorchTitan e a RadixArk, além do Miles, da LMSys, como projetos que mostraram como kernels invariantes em lote e o alinhamento bit a bit podem evitar a deriva fora da política. A contribuição do Google é uma implementação modular de código aberto em JAX, XLA e Pallas para TPUs dentro do Tunix, que a empresa descreve como sua biblioteca nativa de JAX e de código aberto para aprendizado por reforço de LLMs e pós-treinamento na Cloud TPU.

A equipe afirma que os padrões de kernels e a abordagem de verificação tripla foram concebidos para serem modulares, de modo que outros pipelines de serviço e treinamento em JAX e TPU com múltiplos hosts possam adotá-los. Os engenheiros afirmam que estão ampliando o suporte às arquiteturas de atenção linear e Mixture-of-Experts. Uma prévia da implementação atual está disponível.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.