Los modelos de lenguaje rastrean el orden de las palabras asociando información de posición a los tokens o a la atención. El GPT-2 original usaba vectores de posición aprendidos, el transformador original empleaba funciones fijas de seno y coseno, y RoPE rota los vectores de consulta y de clave según la posición del token. Los diseños más recientes usan RoPE parcial o prescinden de RoPE en algunas capas, mientras que RoPE sigue siendo el método más común.

El orden de las palabras es clave para el significado. “The red fox jumps over the gray fox” y “The gray fox jumps over the red fox” contienen las mismas palabras, pero describen animales distintos realizando el salto. Mediante un mecanismo de atención estándar, que permite que cada token pondere a todos los demás, ambas oraciones se tratarían de la misma manera a menos que el modelo sepa en qué lugar está cada palabra. Una nueva guía técnica explica cómo los grandes modelos de lenguaje resuelven ese problema y cómo están cambiando los métodos en 2026.

¿Cómo saben los modelos de lenguaje en qué lugar está cada palabra?

La guía comienza con el enfoque más simple. GPT-2 aprende una tabla de vectores de posición durante el entrenamiento, uno por cada posición de la secuencia, y suma el vector correspondiente a cada embedding de token antes del primer bloque transformador. El GPT-2 original tiene 1.024 vectores de posición aprendidos, lo que significa que solo puede manejar entradas de 1.024 tokens o menos. Ampliar el contexto implica ampliar esa tabla, y el tamaño de la tabla debe definirse antes de comenzar el entrenamiento.

El costo de esa tabla crece rápidamente. Según la guía, los embeddings de posición representan el 0,30 por ciento de los pesos totales de GPT-2 Medium con 1.024 posiciones. Con una longitud de contexto en el rango de 100.000, el autor estima que representarían más del 22 por ciento de los pesos del modelo, lo que sería antieconómico.

El artículo del transformador de 2017, “Attention Is All You Need”, siguió una ruta diferente. Sus vectores de posición provienen de funciones fijas de seno y coseno, que no cambian durante el entrenamiento. Esas funciones pueden evaluarse más allá de las posiciones de entrenamiento, aunque la guía señala que esto no garantiza un buen rendimiento en esas posiciones. Los autores también plantearon la hipótesis de que el diseño de seno y coseno ayudaría a la atención a aprender relaciones como “tres tokens antes”, porque un desplazamiento fijo produce la misma rotación sin importar dónde se ubique en la secuencia.

¿Qué es RoPE y cómo codifica la posición?

RoPE lleva esa idea más lejos al trasladar la señal de posición de la entrada a la propia atención. Presentado por Su y sus colegas en el artículo RoFormer de 2021, el método rota cada vector de consulta y de clave según la posición de su token antes de multiplicar ambos. Los vectores de valor no se rotan. Como el ángulo entre una consulta y una clave depende solo de la distancia que las separa, la puntuación de atención refleja la distancia relativa. La guía muestra que desplazar ambos tokens en la misma cantidad deja sin cambios su producto punto.

RoPE se ha convertido en un elemento básico de los modelos de pesos abiertos desde el LLaMA original. Según la guía, los modelos propietarios también podrían usarlo, pero los detalles externos son difíciles de confirmar.

Los diseños recientes están modificando ese patrón. RoPE parcial rota solo un subconjunto de las características de cada cabeza. MiniMax-M3, por ejemplo, usa 64 dimensiones rotatorias dentro de cada cabeza de 128 dimensiones. El principal beneficio es la memoria: las tablas precalculadas de coseno y seno se reducen a la mitad. Para el contexto de un millón de tokens de MiniMax-M3, la guía estima el ahorro en 0,134 GB si las tablas se almacenan en BF16. La caché KV sigue almacenando vectores completos de clave y valor, por lo que el ahorro se aplica solo a las tablas.

Otros modelos omiten RoPE por completo en algunas capas. SmolLM3, un modelo de 3.000 millones de parámetros, aplica RoPE en tres capas, lo omite en la cuarta y repite ese patrón a lo largo de 36 capas. Los autores de SmolLM3 afirmaron que este patrón de capas mejoró el rendimiento en contextos largos. Omitir capas que no usan codificación posicional explícita, conocida como NoPE, es posible porque la máscara causal ya le da a la atención cierta noción de orden. Una consulta solo puede ver su propio token y los tokens anteriores, de modo que el comportamiento de promediado de la atención transmite información de posición hacia adelante.

Un tercer enfoque, presente en Inkling de Thinky, añade un sesgo de posición relativa aprendido directamente a las puntuaciones de atención antes del softmax. El sesgo depende del estado oculto del token de consulta y de cuántas posiciones hacia atrás se encuentra la clave. La guía señala que T5, el modelo de Google de 2019, usaba una forma más simple de la misma idea.

¿Los modelos de lenguaje más recientes siguen usando RoPE?

Para ver qué métodos se usan en cada caso, el autor agrupó las entradas de una galería de arquitecturas de LLM según la fecha de lanzamiento y comparó los lanzamientos de 2025 con los de 2026. RoPE en cada capa de atención softmax sigue siendo la opción más común. Su proporción bajó de 2025 a 2026, y volvió a bajar en la segunda mitad de 2026. Los diseños mixtos de RoPE y NoPE están creciendo, aunque los grupos siguen siendo pequeños. Entre los modelos que usan RoPE, el RoPE parcial pasó de ser minoritario en 2025 a mayoritario en ambos grupos de 2026.

La conclusión de la guía es que RoPE sigue siendo el método de posición dominante, y el autor espera que se mantenga en 2027. El autor también sugiere que el próximo año podrían aparecer más diseños al estilo de Inkling. El recorrido está dirigido a lectores con algo de formación en fundamentos de transformadores, y es el primero de un conjunto planeado de guías sobre fundamentos.

Este artículo fue escrito con la asistencia de IA.
News Factory APP - noticias agénticas para impulsar tu SEO y AEO.