Вікторина, пов’язана з посібником · Середній Рівень

Вікторина FlashAttention

Перевірте, як FlashAttention зменшує трафік пам’яті з високою пропускною здатністю під час обчислення точної уваги та яке апаратне забезпечення змінює цілі FlashAttention-3.

Пов'язані напрямні шляхиСпалах уваги
Питання 1 з 8

Що є основним вузьким місцем FlashAttention, на яке спрямована стандартна увага?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що є основним вузьким місцем FlashAttention, на яке спрямована стандартна увага?
    • Читання та запис великої матриці уваги для сповільнення пам’яті GPU
    • Кількість множень з плаваючою комою
    • Вартість токенізації вхідного тексту
    • Затримка мережі між графічними процесорами
  2. Як результат FlashAttention порівнюється зі стандартною увагою?
    • Це наближення, яке замінює точність на швидкість
    • Він математично ідентичний (точний)
    • Він працює лише для коротких послідовностей
    • Він змінює вагу моделі
  3. Пам’ять якого графічного процесора використовує FlashAttention для обробки даних у плитках?
    • Велика, але повільна пам'ять високої пропускної здатності (HBM)
    • Оперативна пам'ять ЦП
    • Маленька, але дуже швидка SRAM на чіпі
    • Дискове сховище
  4. Яка техніка дозволяє FlashAttention обчислювати softmax, не переглядаючи всі бали одночасно?
    • Повністю пропустити softmax
    • Округлення всіх балів до нуля
    • Попереднє обчислення softmax на ЦП
    • Онлайн (інкрементний) softmax із запущеним перемасштабуванням
  5. Оскільки повна матриця уваги ніколи не зберігається в HBM, використання пам’яті масштабується приблизно:
    • Лінійно з довжиною послідовності
    • Квадратично з довжиною послідовності
    • Експоненціально з довжиною послідовності
    • Незалежно від довжини послідовності
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware