Тест на увагу

Відповіді та пояснення з’являються під час виконання тесту.

1. Яке основне вузьке місце спрямоване на Flash Attention?
   • Читання та запис великої матриці уваги для сповільнення пам’яті GPU
   • Кількість множень з плаваючою комою в увагу
   • Вартість завантаження модельних ваг з диска
   • Затримка мережі між кількома графічними процесорами
2. Як Flash Attention уникає зберігання повної матриці уваги N на N?
   • Він апроксимує увагу за допомогою випадкових проекцій
   • Він обробляє запити, ключі та значення в маленьких плитках і об’єднує часткові результати
   • Він повністю пропускає більшість пар токенів
   • Він стискає матрицю за допомогою квантування
3. Яка техніка дозволяє Flash Attention правильно обчислювати softmax, не переглядаючи весь рядок одразу?
   • Попередньо обчислена таблиця пошуку експонент
   • Відмова від softmax і використання лінійної апроксимації
   • Поточний (онлайн) softmax, який відстежує поточний максимум і суму
   • Сортування балів перед нормалізацією
4. Порівняно зі стандартною увагою, вихід Flash Attention становить:
   • Приблизне наближення, яке замінює точність на швидкість
   • Більш точний завдяки вищій точності
   • Дійсний лише для коротких послідовностей
   • Математично ідентичні, просто обчислено ефективніше
5. Чому Flash Attention найбільше допомагає з довгими послідовностями?
   • Оскільки пам'ять уваги зростає квадратично з довжиною послідовності
   • Тому що довші послідовності потребують менше шарів
   • Оскільки softmax стає непотрібним для довгих вводів
   • Оскільки графічні процесори працюють повільніше на коротких послідовностях
6. Який пріоритет мінімізації надає «IO-aware» дизайн Flash Attention?
   • Кількість параметрів моделі
   • Пам'ять читає та записує між SRAM та HBM
   • Глибина нейронної мережі
   • Розмір словникового запасу токенізера
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation