Тест про розріджену увагу

Відповіді та пояснення з’являються під час виконання тесту.

1. Чому повна самоувага дорога на довгих послідовностях?
   • Його вартість зростає з квадратом довжини послідовності
   • Він не може використовувати графічні процесори
   • Він працює лише з короткими словами
   • Для цього взагалі не потрібна пам'ять
2. Що таке ковзне вікно (локальна) увага?
   • Кожен маркер звертається до випадкової бази даних
   • Кожен токен обслуговує лише найближчих сусідів
   • Жетони ніколи ні до чого не звертають уваги
   • Кожен жетон звертається до всіх жетонів двічі
3. Яка мета «глобальних токенів» у розрідженій увазі?
   • Щоб уповільнити модель
   • Для зберігання зображень
   • Діяти як центри, які піклуються про все і про що все піклується
   • Для заміни лексики
4. Яка модель довела, що поєднання випадкової, віконної та глобальної уваги зберігає повну виразність уваги?
   • ResNet
   • Word2Vec
   • AlexNet
   • BigBird
5. Приблизно, як масштабується кількість зв’язків у добре розробленій розрідженій увазі?
   • Приблизно лінійно з довжиною послідовності
   • Квадратично з довжиною послідовності
   • Це не залежить від довжини
   • Експоненціально з довжиною послідовності
6. What do strided or dilated sparse-attention patterns allow?
   • Обчислює їх, а потім встановлює на нуль
   • Skip ahead to reach distant context with fewer attention links
   • Надсилає їх на інший сервер
   • Зберігає їх постійно
7. How does Longformer combine local and global attention?
   • Every token attends to every other token
   • Only random edges are allowed
   • Most tokens use a sliding local window, while selected global tokens connect across the sequence
   • Each token attends only to the final token
8. What is the goal of learned, content-based sparse attention?
   • A full dense connection to every token
   • A rule for removing all future tokens
   • A learned vocabulary for each attention head
   • Avoid spending attention compute and memory on content unrelated to the current query