A continuaciónSiguiente guía
Interpolación de posición para extensión de contexto
Idioma IA
GUÍA Técnica
YaRN y extensión de longitud de contexto
YaRN (Otra extensión de RoPE) es una técnica eficaz para ampliar la ventana de contexto utilizable de un modelo mucho más allá de aquello en lo que fue entrenado.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Buceo profundo
La mayoría de los LLM modernos codifican posiciones de tokens con RoPE (Rotary Position Embeddings), que rotan los vectores clave y de consulta en ángulos vinculados a la posición. Cuando alimentas secuencias más largas que la duración del entrenamiento, estas rotaciones entran en rangos invisibles y el modelo se descompone. YaRN, presentado en 2023 por Bowen Peng y sus colaboradores, soluciona este problema con una interpolación compatible con NTK aplicada por frecuencia: deja las dimensiones de alta frecuencia (que capturan relaciones locales de corto alcance) prácticamente intactas, mientras que interpola dimensiones de baja frecuencia (que rastrean la posición de largo alcance). YaRN también agrega un ajuste de temperatura a la atención para contrarrestar los cambios de entropía que provienen de contextos más largos. El resultado es un sólido rendimiento en contextos prolongados después de realizar ajustes en solo una pequeña fracción de los datos y los pasos que requieren los enfoques ingenuos.
Implementación en el mundo real
Ampliar un modelo de contexto abierto de 4K a 32K o 128K para responder preguntas en documentos extensos con breves ajustes
Permitir que los sistemas de recuperación aumentada ingieran muchos pasajes concatenados sin truncamiento
Impulsando asistentes de código que necesitan un archivo de repositorio grande completo o varios archivos en un solo mensaje
Adaptar un modelo base para conversaciones largas de varios turnos que acumulan grandes historiales de chat
El futuro de YaRN y la extensión de la longitud del contexto
La extensión del contexto es ahora una práctica estándar: los modelos abiertos envían habitualmente variantes extendidas de YaRN que alcanzan los 128.000 tokens o más. La investigación avanza hacia métodos que amplían el contexto con ajustes nulos o casi nulos, combinan el reescalamiento de RoPE con trucos de patrones de atención y mantienen la calidad en toda la ventana en lugar de solo en los extremos. Espere una integración más estrecha de estas técnicas en la capacitación previa, siempre que el contexto sea nativo en lugar de modernizado.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the YaRN and Context Length Extension quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is YaRN and Context Length Extension?
YaRN (Otra extensión de RoPE) es una técnica eficaz para ampliar la ventana de contexto utilizable de un modelo mucho más allá de aquello en lo que fue entrenado. Reescala inteligentemente las incrustaciones de posiciones rotativas para que un modelo entrenado con, digamos, tokens 4K pueda manejar 32K o más con un ajuste mínimo.
¿Qué método de codificación de posición modifica YaRN para ampliar el contexto?
YaRN, cuyo nombre significa otra extensión de cuerda, reescala las incrustaciones de posición giratoria utilizadas en la mayoría de los LLM modernos.
¿Qué sale mal cuando un modelo RoPE ve secuencias más largas que la duración de su entrenamiento?
Las posiciones más allá del entrenamiento producen ángulos de rotación que el modelo nunca vio, por lo que el comportamiento de atención se degrada drásticamente.
¿Cómo trata YaRN las diferentes dimensiones de frecuencia de RoPE?
YaRN utiliza una rampa NTK por partes que interpola atenuaciones de baja frecuencia de longitud de onda larga y deja atenuaciones de alta frecuencia de corto alcance prácticamente intactas.
Además de reescalar las frecuencias, ¿qué ajuste adicional aplica YaRN?
YaRN agrega una escala de temperatura a los logits de atención para contrarrestar los cambios de entropía que ocurren a medida que crece el contexto.
¿Cuál es una ventaja práctica clave de YaRN sobre la interpolación ingenua?
YaRN logra una sólida calidad de contexto prolongado después de realizar ajustes en una pequeña fracción de los datos que requieren los métodos ingenuos.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.