Os modelos de linguagem acompanham a ordem das palavras associando informações de posição aos tokens ou à atenção. O GPT-2 inicial usava vetores de posição aprendidos, o transformer original utilizava funções fixas de seno e cosseno, e o RoPE rotaciona os vetores de consulta e de chave de acordo com a posição do token. Designs mais novos usam RoPE parcial ou dispensam o RoPE em algumas camadas, enquanto o RoPE continua sendo o método mais comum.

A ordem das palavras importa para o significado. “The red fox jumps over the gray fox” e “The gray fox jumps over the red fox” contêm as mesmas palavras, mas descrevem animais diferentes realizando o salto. Um mecanismo de atenção padrão, que permite que cada token pondere todos os outros tokens, trataria as duas frases da mesma forma, a menos que o modelo soubesse onde cada palavra está. Um novo guia técnico explica como os grandes modelos de linguagem resolvem esse problema e como os métodos estão mudando em 2026.

Como os modelos de linguagem sabem onde cada palavra está?

O guia começa com a abordagem mais simples. O GPT-2 aprende uma tabela de vetores de posição durante o treinamento, um para cada posição da sequência, e soma o vetor correspondente a cada embedding de token antes do primeiro bloco transformer. O GPT-2 original possui 1.024 vetores de posição aprendidos, o que significa que só consegue processar entradas de até 1.024 tokens. Ampliar o contexto exige ampliar essa tabela, e seu tamanho precisa ser definido antes do início do treinamento.

O custo dessa tabela cresce rapidamente. Segundo o guia, os embeddings de posição representam 0,30 por cento do total de pesos do GPT-2 Medium com 1.024 posições. Com um comprimento de contexto na faixa de 100 mil, o autor estima que eles responderiam por mais de 22 por cento dos pesos do modelo, o que seria antieconômico.

O artigo de 2017 “Attention Is All You Need” adotou outro caminho. Seus vetores de posição vêm de funções fixas de seno e cosseno, que não mudam durante o treinamento. Essas funções podem ser calculadas além das posições de treinamento, embora o guia observe que isso não garante um bom desempenho nessas posições. Os autores também levantaram a hipótese de que o design com seno e cosseno ajudaria a atenção a aprender relações como “três tokens antes”, pois um deslocamento fixo produz a mesma rotação independentemente de onde ocorre na sequência.

O que é o RoPE e como ele codifica a posição?

O RoPE leva essa ideia adiante ao deslocar o sinal de posição da entrada para a própria atenção. Introduzido por Su e colaboradores no artigo RoFormer de 2021, o método rotaciona cada vetor de consulta e de chave com base na posição do token antes de os dois serem multiplicados. Os vetores de valor não passam pela rotação. Como o ângulo entre uma consulta e uma chave depende apenas da distância entre elas, o escore de atenção reflete a distância relativa. O guia mostra que deslocar os dois tokens em uma mesma quantidade não altera o produto escalar entre eles.

O RoPE se tornou elemento básico dos modelos de pesos abertos desde o LLaMA original. Modelos proprietários também podem utilizá-lo, observa o guia, mas detalhes externos são difíceis de confirmar.

Designs recentes estão flexibilizando esse padrão. O RoPE parcial rotaciona apenas um subconjunto das características de cada cabeça de atenção. O MiniMax-M3, por exemplo, usa 64 dimensões rotacionais dentro de cada cabeça de 128 dimensões. O principal ganho está na memória: as tabelas pré-calculadas de cosseno e seno ficam pela metade do tamanho. Para o contexto de 1 milhão de tokens do MiniMax-M3, o guia estima a economia em 0,134 GB, caso as tabelas sejam armazenadas em BF16. O cache KV ainda armazena vetores completos de chave e de valor, portanto a economia se aplica apenas às tabelas.

Outros modelos dispensam o RoPE em algumas camadas. O SmolLM3, um modelo de 3 bilhões de parâmetros, aplica RoPE em três camadas, pula a quarta e repete esse padrão ao longo de 36 camadas. Os autores do SmolLM3 afirmaram que esse padrão de camadas melhorou o desempenho em contextos longos. Pular camadas que não usam nenhuma codificação posicional explícita, conhecidas como NoPE, é viável porque a máscara causal já oferece à atenção alguma noção de ordem. Uma consulta só pode enxergar a si mesma e aos tokens anteriores, de modo que o comportamento de média da atenção transmite informação de posição adiante.

Uma terceira abordagem, encontrada no Inkling da Thinky, adiciona um viés de posição relativa aprendido diretamente aos escores de atenção, antes do softmax. O viés depende do estado oculto do token de consulta e de quantas posições antes a chave está. O guia lembra que o T5, modelo do Google de 2019, utilizou uma forma mais simples da mesma ideia.

Os modelos de linguagem mais recentes ainda usam RoPE?

Para verificar quais métodos são usados em cada caso, o autor agrupou entradas de uma galeria de arquiteturas de LLMs por data de lançamento e comparou os modelos lançados em 2025 com os de 2026. O RoPE em todas as camadas de atenção softmax continua sendo a escolha mais comum. Sua participação caiu de 2025 para 2026 e caiu novamente no segundo semestre de 2026. Os designs que misturam RoPE e NoPE estão crescendo, embora os grupos ainda sejam pequenos. Entre os modelos que usam RoPE, o RoPE parcial passou de minoria em 2025 para maioria nos dois grupos de 2026.

A conclusão do guia é que o RoPE continua sendo o método de posição dominante, e o autor espera que ele se mantenha em 2027. O autor também sugere que mais designs no estilo do Inkling podem surgir no próximo ano. O passo a passo é destinado a leitores com alguma base em fundamentos de transformers e é o primeiro de uma série planejada de guias introdutórios.

Cet article a été rédigé avec l'assistance de l'IA.
News Factory APP - actualités agentiques pour booster votre SEO et AEO.