Cuestionario vinculado a una guía · duro Nivel

Cuestionario sobre atención lineal y núcleos del intérprete

Comprueba el costo de secuencia de atención de softmax, el reordenamiento asociativo, la aproximación del núcleo FAVOR+, las características aleatorias y la complejidad lineal.

Rutas de guía relacionadasAtención lineal y núcleos de intérprete
Pregunta 1 de 8

¿Por qué la atención softmax estándar escala mal con la longitud de la secuencia?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Por qué la atención softmax estándar escala mal con la longitud de la secuencia?
    • Su tiempo y memoria crecen con el cuadrado de la longitud de la secuencia.
    • Requiere ordenar todos los tokens alfabéticamente.
    • Sólo puede procesar un token a la vez.
    • Necesita una red neuronal separada por token
  2. ¿Qué propiedad matemática permite que la atención lineal evite la matriz n por n?
    • Conmutatividad de la suma
    • Asociatividad de la multiplicación de matrices.
    • La ley distributiva de softmax.
    • Descomposición de valores propios
  3. ¿A qué se aproxima el mecanismo FAVOR+ de Performer?
    • Actualizaciones de descenso de gradiente
    • El vocabulario tokenizador
    • El núcleo de atención softmax
    • Estadísticas de normalización de capas
  4. ¿Por qué Performer utiliza características aleatorias positivas en lugar de las trigonométricas anteriores?
    • Se ejecutan más rápido solo en CPU
    • Eliminan la necesidad de cualquier aleatoriedad.
    • Hacen que el modelo sea totalmente interpretable.
    • Garantizan pesos de atención no negativos y mejoran la estabilidad numérica
  5. ¿Cuál es la complejidad aproximada de la atención lineal al estilo del intérprete en una secuencia de longitud n?
    • O(n)
    • O(n^2)
    • O(n iniciar sesión n)
    • O(2^n)
  6. ¿Cuál es una limitación común de la atención lineal pura en comparación con la atención softmax total?
    • No puede ejecutarse en GPU
    • A menudo logra una calidad de modelado ligeramente inferior.
    • Sólo funciona para imágenes.
    • Requiere datos etiquetados para cada token.
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate