Kvíz spojený s průvodcem · Těžko úroveň

Pozornost Rollout a kvíz prořezávání hlavy

Testuje, jak zavádění kombinuje vrstvenou pozornost se zbytkovými cestami, jaké odhady prořezávání hlavy a co tato skóre mohou a nemohou vysvětlit.

Související vodicí cestyPozornost Rollout A Head Prořezávání
Otázka 1 z 8

Co je cílem zvýšení pozornosti?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co je cílem zvýšení pozornosti?
    • Ke sledování kumulativního toku informací od vstupních tokenů k výstupům napříč vrstvami
    • Chcete-li do Transformeru přidat další vrstvy
    • Chcete-li zvýšit rychlost učení
    • Proměnit pozornost v konvoluci
  2. Proč je jednovrstvá mapa pozornosti často pro vysvětlení nedostatečná?
    • Pozornost se nikdy nepočítá
    • Informace se mísí v mnoha vrstvách a hlavách, takže jedna mapa mine celou cestu
    • Mapy jsou vždy jednotné
    • Transformátory mají pouze jednu hlavu
  3. Co přidává rozšíření pozornosti ke každé matici pozornosti, aby se zohlednily zbytkové souvislosti?
    • Nulové zkreslení
    • Termín náhodného šumu
    • Komponenta matice identity před normalizací
    • Extra softmax
  4. Co odhalil výzkum zaměřený na vícehlavou pozornost o redundanci hlavy?
    • Každá hlava je nezbytná
    • Hlavy nelze odstranit
    • Prořezávání vždy zdvojnásobuje přesnost
    • Mnoho hlav lze prořezávat s malou ztrátou přesnosti
  5. Jak se běžně odhaduje důležitost hlavy pro prořezávání?
    • Prostřednictvím gradientově založené citlivosti ztráty na hlavovou masku
    • Podle své abecední pozice
    • Pouze započítáním jeho parametrů
    • Podle denní doby
  6. What different jobs do attention rollout and head pruning each do?
    • Jsou to identické techniky
    • Zavádění napomáhá interpretaci, zatímco prořezávání využívá redundanci ke kompresi modelů
    • Oba pouze přidávají parametry
    • Ani jedno se nedotýká pozornosti
  7. In an attention-rollout calculation, why are residual paths included with layer attention?
    • To make every head have the same weight
    • To remove the value vectors from the Transformer
    • To approximate information that can pass along the identity path when layer transitions are composed
    • To prevent the attention matrix from being normalized
  8. How should an attention-rollout score be interpreted?
    • As proof that a token caused the output
    • As the exact value vector used at every layer
    • As a measure of how many heads the model contains
    • As a post-hoc approximation of relative token influence, not a causal explanation