Cuestionario vinculado a una guía · duro Nivel

Prueba de escala de ventana contextual de YaRN

Revise las bandas de frecuencia de YaRN, la combinación de transiciones, la temperatura de atención, los costos de adaptación y la diferencia entre la longitud admitida y el rendimiento.

Rutas de guía relacionadasEscalado de ventana de contexto de hilo
Pregunta 1 de 8

¿Qué esquema de codificación de posición modifica YaRN para ampliar la longitud del contexto?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué esquema de codificación de posición modifica YaRN para ampliar la longitud del contexto?
    • Incrustaciones de posición rotativa (RoPE)
    • Incrustaciones sinusoidales absolutas
    • Tablas de búsqueda posicional aprendidas
    • Sesgos lineales ALiBi
  2. ¿Cómo trata YaRN las dimensiones de RoPE de alta frecuencia versus las de baja frecuencia?
    • Interpola ambos por igual
    • Elimina por completo las dimensiones de alta frecuencia.
    • Sólo modifica dimensiones de alta frecuencia.
    • Deja las dimensiones de alta frecuencia prácticamente intactas e interpola las de baja frecuencia.
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. Además de reescalar las frecuencias, ¿qué ajuste adicional aplica YaRN para mantener estable la atención de largo alcance?
    • Un aumento de la deserción
    • Un vocabulario más amplio
    • Un ajuste de temperatura de atención (escalado softmax)
    • Recorte de degradado
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. ¿La ingenua interpolación de posición lineal perjudica qué capacidad pretende preservar YaRN?
    • Buenas relaciones locales entre tokens cercanos
    • El tamaño del vocabulario del modelo.
    • La velocidad del tokenizador
    • El número de capas
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights