Викторина, связанная с руководством · Жесткий Уровень
Викторина «Развертывание внимания и обрезка головы»
Проверяет, как развертывание сочетает многоуровневое внимание с остаточными путями, какие оценки сокращения головы и что эти оценки могут и не могут объяснить.
Вопрос 1 из 8
Какова цель выключения внимания?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какова цель выключения внимания?
- Отслеживать совокупный поток информации от входных токенов к выходным по уровням.
- Чтобы добавить больше слоев в Трансформер
- Чтобы увеличить скорость обучения
- Преобразовать внимание в свертку
- Почему однослойная карта внимания часто недостаточна для объяснения?
- Внимание никогда не рассчитывается
- Информация смешивается во многих слоях и главах, поэтому на одной карте не указан полный путь.
- Карты всегда одинаковы
- Трансформеры имеют только одну голову
- Что добавляет распределение внимания к каждой матрице внимания, чтобы учесть остаточные связи?
- Смещение нуля
- Случайный шумовой термин
- Компонент единичной матрицы перед нормализацией
- Дополнительный софтмакс
- Что исследование внимания нескольких голов показало в отношении избыточности голов?
- Каждая голова важна
- Головы не могут быть удалены
- Обрезка всегда удваивает точность
- Многие головки можно обрезать с небольшой потерей точности.
- Как обычно оценивается важность кочана для обрезки?
- Через градиентную чувствительность потерь к маске головы
- По своему алфавитному положению
- Подсчитав только его параметры
- По времени суток
- What different jobs do attention rollout and head pruning each do?
- Это идентичные техники
- Внедрение облегчает интерпретацию, а сокращение использует избыточность для сжатия моделей.
- Оба только добавляют параметры
- Ни то, ни другое не привлекает внимания
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation