Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Figyelemfelhívás és fejmetszés kvíz
Tests how rollout combines layered attention with residual paths, what head pruning estimates, and what those scores can and cannot explain.
kérdés 1 -ból 8
Mi a figyelemfelhívás célja?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a figyelemfelhívás célja?
- A bemeneti jogkivonatoktól a rétegeken keresztüli kimenetekig terjedő kumulatív információáramlás nyomon követése
- További rétegek hozzáadása a Transformerhez
- A tanulási arány növelésére
- A figyelmet konvolúcióvá alakítani
- Miért nem elég gyakran egyetlen réteg figyelemtérképe a magyarázathoz?
- A figyelmet soha nem számítják ki
- Az információ sok rétegben és fejben keveredik, így az egyik térkép kihagyja a teljes útvonalat
- A térképek mindig egységesek
- A transzformátoroknak csak egy fejük van
- Mit ad hozzá a figyelemfelhívás az egyes figyelemmátrixokhoz, hogy figyelembe vegyék a fennmaradó kapcsolatokat?
- Nulla torzítás
- Egy véletlenszerű zaj kifejezés
- Identitásmátrix komponens normalizálás előtt
- Extra softmax
- Mit tárt fel a többfejes figyelem kutatása a fej redundanciájáról?
- Minden fej nélkülözhetetlen
- A fejeket nem lehet eltávolítani
- A metszés mindig megduplázza a pontosságot
- Sok fej metszhető kis pontossági veszteséggel
- Hogyan becsülik meg általában a fej fontosságát a metszés során?
- A veszteség gradiens alapú érzékenysége a fejmaszkra
- ABC sorrendje szerint
- Csak a paramétereit számolva
- A napszakban
- What different jobs do attention rollout and head pruning each do?
- Ezek azonos technikák
- A kiterjesztés segíti az értelmezést, míg a metszés a redundanciát használja ki a modellek tömörítésére
- Mindkettő csak paramétereket ad hozzá
- Egyik sem érinti a figyelmet
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation