Interpolación posicional para cuestionario de contexto largo

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la idea central detrás de la interpolación posicional?
   • Introducir nuevos índices de posición en el rango en el que el modelo ya estaba entrenado
   • Entrenando un modelo nuevo desde cero para cada longitud
   • Eliminar información posicional por completo
   • Ordenar tokens por importancia
2. ¿Por qué fracasa la extrapolación ingenua a posiciones más largas?
   • Utiliza muy poca memoria
   • Puede aumentar las puntuaciones de atención a valores extremadamente grandes e inestables.
   • Siempre devuelve el mismo token.
   • Requiere un tokenizador diferente.
3. ¿Aproximadamente cuántos ajustes requirió el trabajo de PI original para extender LLaMA a 32K?
   • Sin ningún ajuste fino
   • Aproximadamente 1 millón de pasos
   • Alrededor de 1.000 pasos
   • Una carrera completa de preentrenamiento
4. Si amplía el contexto en un factor s, ¿cómo transforma PI una posición m?
   • Mapea m a m veces s
   • Asigna m a m al cuadrado
   • Me deja sin cambios
   • Asigna m a m dividido por s
5. ¿Cómo influyó PI en métodos posteriores como YaRN?
   • Se convirtió en la base de que los métodos conscientes de la frecuencia mejoraron
   • Fue abandonado y nunca citado.
   • Reemplazó la arquitectura Transformer.
   • Solo se aplica a modelos de imagen.
6. ¿A qué codificación de posición se dirige principalmente la interpolación posicional?
   • Codificaciones one-hot
   • RoPE (incrustaciones de posición giratoria)
   • Vectores de Word2Vec
   • La bolsa de palabras cuenta
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000