Kvíz spojený s průvodcem · Těžko úroveň
Block-Sparse a Native Sparse Attention Quiz
Kontroluje řídkou pozornost bloků, větve NSA komprese-výběr, hardwarové zarovnání a škálování s dlouhými sekvencemi.
Otázka 1 z 8
Proč je standardní samopozornost u dlouhých sekvencí drahá?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč je standardní samopozornost u dlouhých sekvencí drahá?
- Jeho cena roste kvadraticky s délkou sekvence
- Používá příliš málo parametrů
- Nemůže běžet na GPU
- Věnuje se pouze prvnímu tokenu
- Jaká je základní myšlenka blokově řídké pozornosti?
- Odstranění dopředných vrstev
- Výpočet pozornosti pouze mezi vybranými bloky tokenů
- Použití pouze jedné hlavy pozornosti
- Zdvojnásobení rozměru vložení
- Co odlišuje Native Sparse Attention (NSA) od mnoha dřívějších řídkých metod?
- Úplně odvádí pozornost
- Funguje pouze při vyvozování
- Je trénovatelný end-to-end a hardwarově sladěný
- Nevyžaduje GPU
- Které tři větve NSA kombinuje pro své klíče a hodnoty?
- Kodér, dekodér a vkládání
- Výpadek, normalizace a sdružování
- Kvantování, prořezávání a destilace
- Komprese, výběr a posuvné okno
- Proč NSA používá operace na úrovni bloků spíše než libovolnou vzácnost na úrovni tokenů?
- V souladu s přístupem k paměti GPU a propustností tensor-core pro skutečné zrychlení
- Aby byl model větší
- Abychom se vůbec vyhnuli používání pozornosti
- Chcete-li snížit počet vrstev
- Během autoregresivního dekódování je řídká pozornost obzvláště užitečná, protože tento krok je často:
- Výpočetní vazba na maticové násobky
- Vázané na paměť, takže snížení obsluhovaných tokenů to urychlí
- Nezávislé na délce sekvence
- Spustit pouze na CPU
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations