Quiz lié à un guide · Difficile Niveau

Quiz sur l'attention dispersée en blocs et en natif

Vérifie l'attention aux blocs dispersés, les branches de la fenêtre de sélection de compression de la NSA, l'alignement du matériel et la mise à l'échelle avec de longues séquences.

Chemins de guidage associésBloquer l'attention clairsemée et native
Question 1 de 8

Pourquoi l’auto-attention standard est-elle coûteuse pour les longues séquences ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Pourquoi l’auto-attention standard est-elle coûteuse pour les longues séquences ?
    • Son coût augmente quadratiquement avec la longueur de la séquence
    • Il utilise trop peu de paramètres
    • Il ne peut pas fonctionner sur des GPU
    • Il ne s'occupe que du premier jeton
  2. Quelle est l’idée centrale de l’attention parsemée de blocs ?
    • Suppression des couches de feed-forward
    • Attention informatique uniquement entre les blocs de jetons sélectionnés
    • Utiliser une seule tête d’attention
    • Doubler la dimension d'intégration
  3. Qu’est-ce qui différencie Native Sparse Attention (NSA) des nombreuses méthodes clairsemées antérieures ?
    • Cela supprime complètement l’attention
    • Cela ne fonctionne que pendant l'inférence
    • Il est entraînable de bout en bout et aligné sur le matériel
    • Il ne nécessite aucun GPU
  4. Quelles sont les trois branches que la NSA combine pour ses clés et ses valeurs ?
    • Encodeur, décodeur et intégration
    • Abandon, normalisation et mise en commun
    • Quantification, élagage et distillation
    • Compression, sélection et fenêtre coulissante
  5. Pourquoi la NSA utilise-t-elle des opérations au niveau des blocs plutôt qu'une parcimonie arbitraire au niveau des jetons ?
    • Pour s'aligner sur l'accès à la mémoire GPU et le débit tensor-core pour de réelles accélérations
    • Pour agrandir le modèle
    • Pour éviter d'utiliser l'attention du tout
    • Pour réduire le nombre de couches
  6. Lors du décodage autorégressif, une attention éparse est particulièrement utile car cette étape est souvent :
    • Lié au calcul sur les multiplications matricielles
    • Limité à la mémoire, donc la réduction des jetons surveillés l'accélère
    • Indépendant de la longueur de la séquence
    • Exécuter uniquement sur les processeurs
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations