Quiz dotyczący rzadkich bloków i natywnej uwagi rzadkiej

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dlaczego standardowa samouważność jest kosztowna w przypadku długich sekwencji?
   • Jego koszt rośnie kwadratowo wraz z długością sekwencji
   • Używa zbyt małej liczby parametrów
   • Nie może działać na procesorach graficznych
   • Dotyczy tylko pierwszego tokenu
2. Jaka jest podstawowa idea uwagi rozproszonej blokowo?
   • Usuwanie warstw wyprzedzających
   • Obliczanie uwagi tylko pomiędzy wybranymi blokami tokenów
   • Używanie tylko jednej głowy uwagi
   • Podwojenie wymiaru osadzania
3. Co odróżnia Natywną Sparse Attention (NSA) od wielu wcześniejszych metod Sparse Attention?
   • Całkowicie odwraca uwagę
   • Działa tylko podczas wnioskowania
   • Można go kompleksowo przeszkolić i dostosować do sprzętu
   • Nie wymaga procesora graficznego
4. Które trzy gałęzie NSA łączy w swoich kluczach i wartościach?
   • Koder, dekoder i osadzanie
   • Rezygnacja, normalizacja i łączenie
   • Kwantyzacja, przycinanie i destylacja
   • Kompresja, selekcja i przesuwane okno
5. Dlaczego NSA używa operacji na poziomie bloków, a nie arbitralnej rzadkości na poziomie tokena?
   • Aby dostosować się do dostępu do pamięci GPU i przepustowości rdzenia tensorowego, aby uzyskać rzeczywiste przyspieszenia
   • Aby powiększyć model
   • Aby w ogóle uniknąć używania uwagi
   • Aby zmniejszyć liczbę warstw
6. Podczas dekodowania autoregresyjnego szczególnie pomocna jest rzadka uwaga, ponieważ ten krok często polega na:
   • Obliczenia związane z mnożeniami macierzy
   • Związany z pamięcią, więc zmniejszenie liczby tokenów nadzorowanych przyspiesza to
   • Niezależne od długości sekwencji
   • Uruchom tylko na procesorach
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations