Kvíz spojený s průvodcem · Těžko úroveň

Block-Sparse a Native Sparse Attention Quiz

Kontroluje řídkou pozornost bloků, větve NSA komprese-výběr, hardwarové zarovnání a škálování s dlouhými sekvencemi.

Otázka 1 z 8

Proč je standardní samopozornost u dlouhých sekvencí drahá?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč je standardní samopozornost u dlouhých sekvencí drahá?
    • Jeho cena roste kvadraticky s délkou sekvence
    • Používá příliš málo parametrů
    • Nemůže běžet na GPU
    • Věnuje se pouze prvnímu tokenu
  2. Jaká je základní myšlenka blokově řídké pozornosti?
    • Odstranění dopředných vrstev
    • Výpočet pozornosti pouze mezi vybranými bloky tokenů
    • Použití pouze jedné hlavy pozornosti
    • Zdvojnásobení rozměru vložení
  3. Co odlišuje Native Sparse Attention (NSA) od mnoha dřívějších řídkých metod?
    • Úplně odvádí pozornost
    • Funguje pouze při vyvozování
    • Je trénovatelný end-to-end a hardwarově sladěný
    • Nevyžaduje GPU
  4. Které tři větve NSA kombinuje pro své klíče a hodnoty?
    • Kodér, dekodér a vkládání
    • Výpadek, normalizace a sdružování
    • Kvantování, prořezávání a destilace
    • Komprese, výběr a posuvné okno
  5. Proč NSA používá operace na úrovni bloků spíše než libovolnou vzácnost na úrovni tokenů?
    • V souladu s přístupem k paměti GPU a propustností tensor-core pro skutečné zrychlení
    • Aby byl model větší
    • Abychom se vůbec vyhnuli používání pozornosti
    • Chcete-li snížit počet vrstev
  6. Během autoregresivního dekódování je řídká pozornost obzvláště užitečná, protože tento krok je často:
    • Výpočetní vazba na maticové násobky
    • Vázané na paměť, takže snížení obsluhovaných tokenů to urychlí
    • Nezávislé na délce sekvence
    • Spustit pouze na CPU
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations