Gids-gekoppelde quiz · Moeilijk Niveau
Aandachtsuitrol en hoofdsnoeiquiz
Test hoe de uitrol gelaagde aandacht combineert met resterende paden, welke schattingen van het snoeien van het hoofd, en wat deze scores wel en niet kunnen verklaren.
Vraag 1 van 8
Wat is het doel van aandachtsuitrol?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het doel van aandachtsuitrol?
- Om de cumulatieve informatiestroom van invoertokens naar uitvoer over lagen heen te traceren
- Om meer lagen aan een Transformer toe te voegen
- Om het leertempo te verhogen
- Om de aandacht om te zetten in convolutie
- Waarom is de aandachtskaart van één laag vaak onvoldoende voor verklaring?
- Aandacht wordt nooit berekend
- Informatie mengt zich over vele lagen en koppen, waardoor één kaart het volledige pad mist
- Kaarten zijn altijd uniform
- Transformers hebben maar één hoofd
- Wat voegt aandachtsuitrol toe aan elke aandachtsmatrix om rekening te houden met resterende verbindingen?
- Een bias van nul
- Een willekeurige ruisterm
- Een identiteitsmatrixcomponent vóór normalisatie
- Een extra softmax
- Wat heeft onderzoek naar aandacht voor meerdere hoofden onthuld over hoofdredundantie?
- Ieder hoofd is essentieel
- Hoofden kunnen niet worden verwijderd
- Snoeien verdubbelt altijd de nauwkeurigheid
- Veel koppen kunnen worden gesnoeid met weinig nauwkeurigheidsverlies
- Hoe wordt gewoonlijk het belang van een kop bij het snoeien geschat?
- Via gradiëntgebaseerde gevoeligheid van het verlies voor een hoofdmasker
- Op alfabetische positie
- Door alleen de parameters te tellen
- Tegen de tijd van de dag
- What different jobs do attention rollout and head pruning each do?
- Het zijn identieke technieken
- Uitrol helpt bij de interpretatie, terwijl snoeien gebruik maakt van redundantie om modellen te comprimeren
- Beide voegen alleen parameters toe
- Geen van beide raakt de aandacht
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation