Вікторина, пов’язана з посібником · важко Рівень

Тест на увагу Block-Sparse та Native Sparse

Перевіряє розріджену увагу блоків, гілки вікна стиснення-вибору NSA, апаратне вирівнювання та масштабування з довгими послідовностями.

Пов'язані напрямні шляхиБлок Sparse і Native Sparse Attention
Питання 1 з 8

Чому стандартна самоувага дорога для довгих послідовностей?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Чому стандартна самоувага дорога для довгих послідовностей?
    • Його вартість зростає квадратично з довжиною послідовності
    • Він використовує занадто мало параметрів
    • Він не може працювати на графічних процесорах
    • Він стосується лише першого токена
  2. Яка основна ідея блоково-розрідженої уваги?
    • Видалення передніх шарів
    • Обчислення уваги лише між вибраними блоками токенів
    • Використання лише однієї голови уваги
    • Подвоєння розміру вбудовування
  3. Чим Native Sparse Attention (NSA) відрізняється від багатьох попередніх методів sparse?
    • Це повністю відволікає увагу
    • Він працює лише під час логічного висновку
    • Це наскрізне навчання та апаратне забезпечення
    • Він не вимагає графічного процесора
  4. Які три гілки АНБ об’єднує для своїх ключів і цінностей?
    • Кодер, декодер і вбудовування
    • Вилучення, нормалізація та об'єднання
    • Квантування, скорочення та дистиляція
    • Стиснення, виділення та ковзне вікно
  5. Чому NSA використовує операції на рівні блоків, а не довільну розрідженість на рівні маркерів?
    • Щоб узгодити доступ до пам’яті графічного процесора та пропускну здатність тензорного ядра для справжнього прискорення
    • Щоб зробити модель більшою
    • Щоб взагалі не використовувати увагу
    • Щоб зменшити кількість шарів
  6. Під час авторегресійного декодування розріджена увага особливо корисна, оскільки цей крок часто:
    • Прив’язане до обчислення множення матриці
    • Прив’язаний до пам’яті, тому зменшення кількості відвідуваних маркерів прискорює його
    • Незалежно від довжини послідовності
    • Запуск тільки на процесорах
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations