Quiz dotyczący uwagi i przycinania głowy

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest cel rolloutu uwagi?
   • Aby śledzić skumulowany przepływ informacji od tokenów wejściowych do wyników między warstwami
   • Aby dodać więcej warstw do Transformera
   • Aby zwiększyć tempo uczenia się
   • Aby zamienić uwagę w splot
2. Dlaczego mapa uwagi pojedynczej warstwy jest często niewystarczająca do wyjaśnienia?
   • Uwaga nigdy się nie liczy
   • Informacje mieszają się w wielu warstwach i głowach, więc jedna mapa pomija pełną ścieżkę
   • Mapy są zawsze jednolite
   • Transformatory mają tylko jedną głowę
3. Co „rolling uwagi” dodaje do każdej macierzy uwagi, aby uwzględnić resztkowe połączenia?
   • Odchylenie zerowe
   • Losowy termin związany z szumem
   • Składnik macierzy tożsamości przed normalizacją
   • Dodatkowy softmax
4. Co badania nad uwagą wielogłową ujawniły na temat redundancji głów?
   • Każda głowa jest niezbędna
   • Głowic nie można zdjąć
   • Przycinanie zawsze podwaja dokładność
   • Wiele główek można przyciąć z niewielką utratą dokładności
5. Jak powszechnie szacuje się znaczenie główki przy przycinaniu?
   • Poprzez gradientową czułość utraty maski na głowę
   • Według położenia alfabetycznego
   • Licząc jedynie jego parametry
   • Do pory dnia
6. What different jobs do attention rollout and head pruning each do?
   • Są to identyczne techniki
   • Wdrażanie ułatwia interpretację, podczas gdy oczyszczanie wykorzystuje redundancję do kompresji modeli
   • Oba dodają tylko parametry
   • Żadne nie przyciąga uwagi
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation