Test legat de ghid · Greu Nivel
Block-Sparse și Native Sparse Attention Quiz
Checks block-sparse attention, NSA’s compression-selection-window branches, hardware alignment and scaling with long sequences.
Întrebare 1 de 8
De ce este costisitoare autoatenția standard pentru secvențe lungi?
Previzualizează fiecare întrebare8 întrebări
Răspunsurile și explicațiile apar pe măsură ce susțineți testul.
- De ce este costisitoare autoatenția standard pentru secvențe lungi?
- Costul său crește pătratic cu lungimea secvenței
- Folosește prea puțini parametri
- Nu poate rula pe GPU
- Se ocupă doar de primul simbol
- Care este ideea de bază a atenției limitate?
- Îndepărtarea straturilor de feed-forward
- Calcularea atenției numai între blocurile selectate de jetoane
- Folosind un singur cap de atenție
- Dublarea dimensiunii de încorporare
- Ce face Native Sparse Attention (NSA) distinctă de multe metode anterioare rare?
- Îndepărtează complet atenția
- Funcționează doar în timpul inferenței
- Este antrenabil de la capăt la capăt și aliniat la hardware
- Nu necesită GPU
- Ce trei ramuri combină NSA pentru cheile și valorile sale?
- Codificator, decodor și încorporare
- Abandonul, normalizarea și punerea în comun
- Cuantificare, tăiere și distilare
- Compresie, selecție și o fereastră glisantă
- De ce folosește NSA operațiuni la nivel de bloc, mai degrabă decât sparsitatea arbitrară la nivel de token?
- Pentru a se alinia cu accesul la memoria GPU și cu debitul tensor-core pentru viteze reale
- Pentru a face modelul mai mare
- Pentru a evita deloc folosirea atenției
- Pentru a reduce numărul de straturi
- În timpul decodării autoregresive, atenția redusă este deosebit de utilă, deoarece acel pas este adesea:
- Înmulțirile legate de calcul pe matrice
- Legat de memorie, astfel încât reducerea jetoanelor de participare accelerează
- Independent de lungimea secvenței
- Rulați numai pe procesoare
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations