Despliegue de atención y prueba de poda de cabeza

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es el objetivo del despliegue de atención?
   • Para rastrear el flujo de información acumulativa desde los tokens de entrada hasta las salidas a través de capas
   • Para agregar más capas a un Transformer
   • Para aumentar la tasa de aprendizaje
   • Para convertir la atención en convolución.
2. ¿Por qué el mapa de atención de una sola capa suele ser insuficiente para explicarlo?
   • La atención nunca se calcula.
   • La información se mezcla en muchas capas y encabezados, por lo que un mapa pierde la ruta completa
   • Los mapas son siempre uniformes.
   • Los transformadores tienen una sola cabeza.
3. ¿Qué agrega el despliegue de atención a cada matriz de atención para tener en cuenta las conexiones residuales?
   • Un sesgo de cero
   • Un término de ruido aleatorio
   • Un componente de la matriz de identidad antes de la normalización.
   • Un softmax extra
4. ¿Qué reveló la investigación sobre la atención de múltiples cabezas sobre la redundancia de cabezas?
   • Cada cabeza es esencial.
   • Las cabezas no se pueden quitar
   • La poda siempre duplica la precisión
   • Se pueden podar muchas cabezas con poca pérdida de precisión.
5. ¿Cómo se estima comúnmente la importancia de una cabeza para la poda?
   • A través de la sensibilidad de la pérdida basada en gradiente a una máscara para la cabeza
   • Por su posición alfabética
   • Contando sólo sus parámetros
   • Por la hora del día
6. ¿Qué trabajos diferentes realizan el despliegue de atención y la poda de cabeza?
   • Son tecnicas identicas
   • La implementación ayuda a la interpretación mientras que la poda aprovecha la redundancia para comprimir modelos
   • Ambos solo agregan parámetros
   • Ninguno toca atención
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation