Interpolación de posición para el cuestionario de extensión de contexto

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la idea central de la interpolación de posición?
   • Añadir más cabezas de atención
   • Reescalar (reducir) los índices de posición para que permanezcan dentro del rango entrenado en lugar de extrapolarlos
   • Eliminar incrustaciones posicionales por completo
   • Vuelva a entrenar el modelo desde cero en secuencias largas.
2. ¿Qué esquema posicional amplió el trabajo de interpolación de posición original mediante el cambio de escala del índice de posición?
   • Solo una tabla de búsqueda de vocabulario de salida fija
   • No hay información posicional de ningún tipo.
   • Incrustaciones posicionales rotativas o RoPE
   • Un formato de compresión de imágenes en lugar de posiciones de modelo.
3. ¿Por qué la extrapolación posicional no modificada puede degradar un modelo RoPE en entradas mucho más largas?
   • La secuencia introduce condiciones posicionales y de atención más allá de la experiencia de entrenamiento del modelo.
   • Un contexto más largo vuelve a entrenar automáticamente cada parámetro
   • RoPE quita toda atención al modelo
   • El tokenizador necesariamente pierde su vocabulario en una longitud específica.
4. Si se extiende la longitud del contexto de L a L', ¿qué factor de reescalado aplica el PI básico a la posición m?
   • Multiplicar m por L'/L
   • Añadir L' a m
   • Establecer m a cero
   • Divida m por L'/L (es decir, m / (L'/L))
5. ¿En qué se diferencia el enfoque de frecuencia de YaRN de la interpolación de posición uniforme?
   • Elimina todas las consultas y claves de la atención.
   • Cambia solo el tamaño del vocabulario de salida.
   • Trata las bandas de frecuencia de manera diferente para preservar los detalles locales y al mismo tiempo ampliar el rango posicional.
   • Garantiza que todas las tareas de contexto prolongado tengan una precisión idéntica.
6. ¿Qué diferencia el flujo de trabajo de interpolación de posición original del entrenamiento previo de un nuevo modelo de contexto largo desde cero?
   • Elimina toda necesidad de cálculo.
   • Adapta un modelo previamente entrenado existente hacia la ventana más larga probada con reescalado y ajuste fino.
   • Requiere reemplazar todos los parámetros aprendidos con valores aleatorios.
   • Demuestra que todos los modelos pueden extenderse indefinidamente sin evaluación.
7. ¿La interpolación de posición básica agrega inherentemente nuevos focos de atención o amplía la arquitectura entrenable?
   • Sí; cada contexto duplicado requiere el doble de cabezas de atención
   • Sí; el vocabulario debe expandirse por el factor de longitud del contexto
   • Sólo cambia el nombre de archivo del modelo, sin efecto en las posiciones.
   • No; cambia las coordenadas de posición utilizadas por el modelo existente
8. ¿Por qué una implementación de PI en un contexto más largo aún debe evaluar los requisitos de memoria y computación?
   • Procesa más tokens y almacena el estado relevante; comprimir las coordenadas de posición no elimina ese trabajo
   • La cantidad de tokens de entrada reales se reduce automáticamente con sus posiciones.
   • Todo el almacenamiento de caché KV se vuelve cero después del reescalado
   • Cada modelo extendido tiene una latencia sin cambios independientemente de la longitud de entrada