Тест, свързан с ръководство · трудно Ниво
Разпространение на вниманието и тест за подрязване на главата
Тества как разгръщането съчетава многослойно внимание с остатъчни пътища, какви оценки за подрязване на главата и какво могат и не могат да обяснят тези резултати.
Въпрос 1 на 8
Каква е целта на привличането на вниманието?
Визуализирайте всеки въпрос8 въпроси
Отговорите и обясненията се появяват, докато отговаряте на теста.
- Каква е целта на привличането на вниманието?
- За проследяване на кумулативен информационен поток от входни токени до изходи през слоевете
- За да добавите още слоеве към трансформатор
- За да увеличите скоростта на обучение
- Да преобразува вниманието в конволюция
- Защо картата на вниманието на един слой често е недостатъчна за обяснение?
- Вниманието никога не се изчислява
- Информацията се смесва в много слоеве и глави, така че една карта пропуска пълния път
- Картите винаги са еднообразни
- Трансформаторите имат само една глава
- Какво добавя разгръщането на вниманието към всяка матрица на вниманието, за да отчете остатъчните връзки?
- Пристрастност нула
- Случаен шумов член
- Компонент на матрица на идентичност преди нормализиране
- Допълнителен софтмакс
- Какво разкри изследването на вниманието на няколко глави за излишъка на глави?
- Всяка глава е важна
- Главите не могат да бъдат премахнати
- Подрязването винаги удвоява точността
- Много глави могат да бъдат подрязани с малка загуба на точност
- Как обикновено се оценява важността на главата за подрязване?
- Чрез базирана на градиент чувствителност на загубата към маска за глава
- По позицията си по азбучен ред
- Като се броят само неговите параметри
- По време на деня
- What different jobs do attention rollout and head pruning each do?
- Това са идентични техники
- Разгръщането подпомага интерпретацията, докато съкращаването използва излишъка за компресиране на модели
- И двете само добавят параметри
- Нито едното не привлича вниманието
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation