Incrustaciones de posición rotativa
Las incrustaciones de posición rotatoria (RoPE) codifican dónde se ubica cada token en una secuencia al rotar su consulta y sus vectores clave en un ángulo proporcional a la posición.
Descripción general
This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.
Buceo profundo
Los transformadores no tienen un sentido de orden incorporado, por lo que necesitan que se agregue información de posición de alguna manera. Los primeros modelos agregaron vectores sinusoidales fijos o incrustaciones de posiciones aprendidas a las entradas. RoPE, propuesto por Su y sus colegas en 2021, adopta un enfoque diferente: en lugar de agregar un vector de posición, rota pares de dimensiones en la consulta y los vectores clave en un ángulo que crece con la posición del token. Cuando el modelo calcula el producto escalar entre una consulta en la posición my una clave en la posición n, las matemáticas funcionan de modo que el resultado depende solo de su distancia relativa m menos n. Esto proporciona una conciencia genuina de la posición relativa, juega muy bien con los núcleos de atención eficientes y decae la atención suavemente con la distancia. RoPE ahora se utiliza en Llama, Mistral, Qwen y la mayoría de los modelos abiertos modernos.
Información técnica
RoPE trata las dimensiones incrustadas en pares y aplica una rotación 2D a cada par, con diferentes pares girando a diferentes frecuencias, muy parecido a las manecillas de muchos relojes que funcionan a diferentes velocidades. Debido a que rotar según la posición m y luego tomar un producto escalar con algo girado según la posición n deja solo la diferencia de ángulo, las puntuaciones de atención se convierten en funciones de posición relativa. Los pares de alta frecuencia capturan un fino orden local; Los pares de baja frecuencia capturan posiciones de largo alcance. Fundamentalmente, modifica consultas y claves, no valores.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro de las incrustaciones de posiciones rotativas
Gran parte del trabajo reciente se centra en extender RoPE a contextos mucho más largos de lo que se entrenó un modelo. Técnicas como la interpolación de posición, el escalado compatible con NTK y YaRN ajustan las frecuencias de rotación para que un modelo entrenado con, digamos, tokens 4K pueda manejar 32K o más con un ligero ajuste. Se espera que RoPE siga siendo el esquema posicional dominante, con mejoras continuas en su frecuencia base y escalamiento para contextos de millones de tokens, y un estudio continuo de cómo interactúa con el comportamiento de atención.
Implementación en el mundo real
Dar modelos a Llama, Mistral y Qwen de su sentido del orden de las fichas sin incrustaciones de posiciones separadas
Ampliar el contexto utilizable de un modelo de unos pocos miles a decenas de miles de tokens mediante interpolación o YaRN
Ayudar a los modelos de código a rastrear distancias relativas entre corchetes, funciones y referencias en archivos largos
Respaldar la respuesta a preguntas en documentos extensos cuando la posición relativa entre la pregunta y la evidencia es importante.
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rotary Position Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Sesgo de posición ALiBi
Preguntas frecuentes
What is Rotary Position Embeddings?
Las incrustaciones de posición rotatoria (RoPE) codifican dónde se ubica cada token en una secuencia al rotar su consulta y sus vectores clave en un ángulo proporcional a la posición. Este elegante truco permite a los transformadores comprender distancias relativas y extenderlas con gracia a contextos más largos.
¿Cómo inyecta RoPE información de posición en un transformador?
RoPE rota los vectores clave y de consulta en un ángulo proporcional a la posición, en lugar de agregar un vector de posición separado.
¿Qué partes del cálculo de la atención modifica RoPE?
RoPE aplica sus rotaciones a los vectores clave y de consulta, dejando intactos los vectores de valor.
¿Por qué diferentes pares de dimensiones giran a diferentes frecuencias en RoPE?
Al igual que las manecillas de un reloj que hacen tictac a diferentes velocidades, las frecuencias variadas permiten que algunos pares codifiquen el orden de corto alcance y otros la posición de largo alcance.
¿Cuál es el objetivo de técnicas como la interpolación de posiciones, el escalado compatible con NTK y YaRN?
Estos métodos reescalan las frecuencias de rotación de RoPE para que un modelo pueda manejar contextos mucho más largos que su duración de entrenamiento original.