Prueba de patrones de atención escasa

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Por qué la autoatención total es costosa en secuencias largas?
   • Su costo crece con el cuadrado de la longitud de la secuencia.
   • No puede usar GPU
   • Sólo funciona con palabras cortas.
   • No requiere memoria alguna
2. ¿Qué es la atención de ventana corrediza (local)?
   • Cada token atiende a una base de datos aleatoria
   • Cada token atiende únicamente a sus vecinos cercanos.
   • Los tokens nunca atienden a nada.
   • Cada token atiende a todos los tokens dos veces.
3. ¿Cuál es el propósito de los 'tokens globales' en atención escasa?
   • Para ralentizar el modelo
   • Para almacenar imágenes
   • Actuar como hubs que atiendan a todo y que todo atienda
   • Para reemplazar el vocabulario
4. ¿Qué modelo demostró que combinar atención aleatoria, de ventana y global mantiene la expresividad de la atención total?
   • Resnet
   • Palabra2Vec
   • alexnet
   • pájaro grande
5. Aproximadamente, ¿cómo aumenta el número de conexiones en una atención escasa bien diseñada?
   • Aproximadamente linealmente con la longitud de la secuencia.
   • Cuadráticamente con longitud de secuencia.
   • No depende de la longitud
   • Exponencialmente con longitud de secuencia
6. What do strided or dilated sparse-attention patterns allow?
   • Los calcula y luego los pone a cero.
   • Skip ahead to reach distant context with fewer attention links
   • Los envía a otro servidor.
   • Los almacena permanentemente
7. How does Longformer combine local and global attention?
   • Every token attends to every other token
   • Only random edges are allowed
   • Most tokens use a sliding local window, while selected global tokens connect across the sequence
   • Each token attends only to the final token
8. What is the goal of learned, content-based sparse attention?
   • A full dense connection to every token
   • A rule for removing all future tokens
   • A learned vocabulary for each attention head
   • Avoid spending attention compute and memory on content unrelated to the current query