Kvíz spojený s průvodcem · Těžko úroveň
Pozornost Rollout a kvíz prořezávání hlavy
Testuje, jak zavádění kombinuje vrstvenou pozornost se zbytkovými cestami, jaké odhady prořezávání hlavy a co tato skóre mohou a nemohou vysvětlit.
Otázka 1 z 8
Co je cílem zvýšení pozornosti?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co je cílem zvýšení pozornosti?
- Ke sledování kumulativního toku informací od vstupních tokenů k výstupům napříč vrstvami
- Chcete-li do Transformeru přidat další vrstvy
- Chcete-li zvýšit rychlost učení
- Proměnit pozornost v konvoluci
- Proč je jednovrstvá mapa pozornosti často pro vysvětlení nedostatečná?
- Pozornost se nikdy nepočítá
- Informace se mísí v mnoha vrstvách a hlavách, takže jedna mapa mine celou cestu
- Mapy jsou vždy jednotné
- Transformátory mají pouze jednu hlavu
- Co přidává rozšíření pozornosti ke každé matici pozornosti, aby se zohlednily zbytkové souvislosti?
- Nulové zkreslení
- Termín náhodného šumu
- Komponenta matice identity před normalizací
- Extra softmax
- Co odhalil výzkum zaměřený na vícehlavou pozornost o redundanci hlavy?
- Každá hlava je nezbytná
- Hlavy nelze odstranit
- Prořezávání vždy zdvojnásobuje přesnost
- Mnoho hlav lze prořezávat s malou ztrátou přesnosti
- Jak se běžně odhaduje důležitost hlavy pro prořezávání?
- Prostřednictvím gradientově založené citlivosti ztráty na hlavovou masku
- Podle své abecední pozice
- Pouze započítáním jeho parametrů
- Podle denní doby
- What different jobs do attention rollout and head pruning each do?
- Jsou to identické techniky
- Zavádění napomáhá interpretaci, zatímco prořezávání využívá redundanci ke kompresi modelů
- Oba pouze přidávají parametry
- Ani jedno se nedotýká pozornosti
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation