Тест, свързан с ръководство · трудно Ниво

Block-Sparse и Native Sparse Тест за внимание

Проверява оскъдно внимание на блокове, разклонения на прозореца за компресия за избор на NSA, хардуерно подравняване и мащабиране с дълги последователности.

Свързани ръководни пътекиБлокирайте Sparse и Native Sparse Attention
Въпрос 1 на 8

Защо стандартното самовнимание е скъпо за дълги поредици?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Защо стандартното самовнимание е скъпо за дълги поредици?
    • Цената му нараства квадратично с дължината на последователността
    • Използва твърде малко параметри
    • Не може да работи на графични процесори
    • Той се отнася само за първия токен
  2. Каква е основната идея за блоково оскъдно внимание?
    • Премахване на слоевете за подаване напред
    • Изчисляване на внимание само между избрани блокове токени
    • Използване само на една глава за внимание
    • Удвояване на измерението за вграждане
  3. Какво прави Native Sparse Attention (NSA) различен от много по-ранни sparse методи?
    • Отстранява вниманието изцяло
    • Работи само по време на извод
    • Той може да се обучава от край до край и е хардуерно подравнен
    • Не изисква GPU
  4. Кои три клона NSA комбинира за своите ключове и ценности?
    • Кодер, декодер и вграждане
    • Отпадане, нормализация и обединяване
    • Квантуване, подрязване и дестилация
    • Компресия, селекция и плъзгащ се прозорец
  5. Защо NSA използва операции на ниво блок, а не произволна рядкост на ниво токен?
    • За привеждане в съответствие с достъпа до паметта на GPU и пропускателната способност на тензорното ядро за реални ускорявания
    • За да направите модела по-голям
    • За да избегнете използването на внимание изобщо
    • За да намалите броя на слоевете
  6. По време на авторегресивно декодиране, рядкото внимание е особено полезно, тъй като тази стъпка често е:
    • Обвързано с изчисление на матрични умножения
    • Обвързан с паметта, така че намаляването на присъстващите токени го ускорява
    • Независимо от дължината на последователността
    • Работете само на процесори
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations