Cuestionario vinculado a una guía · duro Nivel

Cuestionario de atención de bloques dispersos y nativos dispersos

Comprueba la atención de bloques escasos, las ramas de la ventana de selección de compresión de la NSA, la alineación del hardware y el escalado con secuencias largas.

Rutas de guía relacionadasBloquear la atención escasa y nativa escasa
Pregunta 1 de 8

¿Por qué la autoatención estándar es costosa para secuencias largas?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Por qué la autoatención estándar es costosa para secuencias largas?
    • Su costo crece cuadráticamente con la longitud de la secuencia.
    • Utiliza muy pocos parámetros.
    • No puede ejecutarse en GPU
    • Sólo atiende al primer token.
  2. ¿Cuál es la idea central de la atención escasa en bloques?
    • Eliminación de las capas de avance
    • Calcular la atención solo entre bloques seleccionados de tokens
    • Usar solo un cabezal de atención
    • Duplicar la dimensión de incrustación
  3. ¿Qué diferencia a Native Sparse Attention (NSA) de muchos métodos dispersos anteriores?
    • Quita la atención por completo
    • Sólo funciona durante la inferencia.
    • Es entrenable de extremo a extremo y está alineado con el hardware.
    • No requiere GPU
  4. ¿Qué tres ramas combina la NSA para sus claves y valores?
    • Codificador, decodificador e incrustación
    • Abandono, normalización y agrupación
    • Cuantización, poda y destilación.
    • Compresión, selección y ventana deslizante.
  5. ¿Por qué la NSA utiliza operaciones a nivel de bloque en lugar de escasez arbitraria a nivel de token?
    • Para alinearse con el acceso a la memoria de la GPU y el rendimiento del núcleo tensorial para obtener aceleraciones reales
    • Para agrandar el modelo
    • Para evitar usar la atención en absoluto
    • Para reducir el número de capas.
  6. Durante la decodificación autorregresiva, prestar poca atención es especialmente útil porque ese paso suele ser:
    • Calculado vinculado a matrices se multiplica
    • Depende de la memoria, por lo que reducir los tokens atendidos lo acelera
    • Independiente de la longitud de la secuencia
    • Ejecutar solo en CPU
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations