Вікторина, пов’язана з посібником · важко Рівень

Розгортання уваги та вікторина «Обрізка голови».

Перевіряє, як розгортання поєднує багаторівневу увагу із залишковими шляхами, які оцінки скорочення голови та що ці бали можуть, а що не можуть пояснити.

Пов'язані напрямні шляхиРозгортання уваги та обрізка голови
Питання 1 з 8

Яка мета розгортання уваги?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Яка мета розгортання уваги?
    • Для відстеження сукупного потоку інформації від вхідних токенів до виходів через рівні
    • Щоб додати більше шарів до трансформера
    • Підвищити швидкість навчання
    • Перетворити увагу в згортку
  2. Чому карти уваги одного шару часто недостатньо для пояснення?
    • Увага ніколи не обчислюється
    • Інформація змішується на багатьох шарах і заголовках, тому одна карта пропускає повний шлях
    • Карти завжди одноманітні
    • У трансформерів лише одна голова
  3. Що згортання уваги додає до кожної матриці уваги для врахування залишкових зв’язків?
    • Нульове зміщення
    • Випадковий шумовий термін
    • Компонент матриці ідентичності перед нормалізацією
    • Додатковий softmax
  4. Що показало дослідження багатоголової уваги про надмірність голови?
    • Кожна голова важлива
    • Голови знімати не можна
    • Обрізка завжди подвоює точність
    • Багато головок можна обрізати з невеликою втратою точності
  5. Як зазвичай оцінюється важливість головки для обрізки?
    • Через градієнтну чутливість втрати до головної маски
    • За своїм алфавітним положенням
    • Підраховуючи лише його параметри
    • За часом доби
  6. What different jobs do attention rollout and head pruning each do?
    • Це ідентичні техніки
    • Розгортання допомагає інтерпретувати, а скорочення використовує надмірність для стиснення моделей
    • Обидва лише додають параметри
    • Жоден не привертає уваги
  7. In an attention-rollout calculation, why are residual paths included with layer attention?
    • To make every head have the same weight
    • To remove the value vectors from the Transformer
    • To approximate information that can pass along the identity path when layer transitions are composed
    • To prevent the attention matrix from being normalized
  8. How should an attention-rollout score be interpreted?
    • As proof that a token caused the output
    • As the exact value vector used at every layer
    • As a measure of how many heads the model contains
    • As a post-hoc approximation of relative token influence, not a causal explanation