Cuestionario vinculado a una guía · duro Nivel

Prueba de extensión de longitud de contexto y YaRN

Comprueba cómo YaRN ajusta las frecuencias de RoPE, preserva los detalles locales, escala la temperatura de atención y amplía el contexto con ajustes.

Rutas de guía relacionadasExtensión de longitud de hilo y contexto
Pregunta 1 de 8

¿Qué método de codificación de posición modifica YaRN para ampliar el contexto?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué método de codificación de posición modifica YaRN para ampliar el contexto?
    • Incrustaciones de posición rotativa (RoPE)
    • Incrustaciones sinusoidales absolutas
    • Tablas de búsqueda posicional aprendidas
    • Sólo matrices de sesgo relativo
  2. ¿Qué sale mal cuando un modelo RoPE ve secuencias más largas que la duración de su entrenamiento?
    • El tokenizador falla
    • Los ángulos de rotación entran en rangos invisibles y el rendimiento colapsa
    • El modelo genera solo ceros.
    • Los gradientes se vuelven exactamente uno
  3. ¿Cómo trata YaRN las diferentes dimensiones de frecuencia de RoPE?
    • Interpola todas las dimensiones por igual.
    • Elimina dimensiones de alta frecuencia.
    • Interpola dimensiones de baja frecuencia preservando en gran medida las de alta frecuencia.
    • Aleatoriza cada dimensión.
  4. Además de reescalar las frecuencias, ¿qué ajuste adicional aplica YaRN?
    • Un nuevo tokenizador
    • Duplicar el número de capas.
    • Eliminar la normalización de capas
    • Un ajuste de temperatura de atención (escalado softmax)
  5. ¿Cuál es una ventaja práctica clave de YaRN sobre la interpolación ingenua?
    • Alcanza un contexto extenso con muchos menos datos y pasos de ajuste
    • No necesita ningún modelo
    • Sólo funciona por debajo de 512 tokens.
    • Elimina la necesidad de GPU
  6. ¿Por qué es perjudicial la interpolación lineal ingenua de todas las frecuencias de RoPE?
    • Sólo afecta los términos de sesgo.
    • Comprime dimensiones de alta frecuencia que codifican detalles locales.
    • Hace el modelo más grande
    • Cambia el tamaño del vocabulario.
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context