Тест, свързан с ръководство · Среден Ниво

Викторина за FlashAttention

Проверете как FlashAttention намалява трафика на паметта с висока честотна лента, докато изчислява точното внимание и какъв хардуер променя целите на FlashAttention-3.

Свързани ръководни пътекиСветкавично внимание
Въпрос 1 на 8

Кое е основното пречка, към което FlashAttention се стреми в стандартното внимание?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Кое е основното пречка, към което FlashAttention се стреми в стандартното внимание?
    • Четене и запис на голямата матрица на вниманието за забавяне на паметта на GPU
    • Броят на умноженията с плаваща запетая
    • Разходите за токенизиране на въведения текст
    • Мрежово забавяне между GPU
  2. Как изходът на FlashAttention се сравнява със стандартното внимание?
    • Това е приближение, което разменя точността за скорост
    • Той е математически идентичен (точен)
    • Работи само за кратки поредици
    • Променя теглото на модела
  3. Коя GPU памет използва FlashAttention, като обработва данни в плочки?
    • Голямата, но бавна памет с висока честотна лента (HBM)
    • RAM на процесора
    • Малката, но много бърза SRAM в чипа
    • Дисково съхранение
  4. Каква техника позволява на FlashAttention да изчислява softmax, без да вижда всички резултати наведнъж?
    • Изцяло пропускане на softmax
    • Закръгляване на всички резултати до нула
    • Предварително изчисляване на softmax на процесора
    • Онлайн (инкрементален) softmax с текущо повторно мащабиране
  5. Тъй като пълната матрица на вниманието никога не се съхранява в HBM, използването на паметта се мащабира грубо:
    • Линейно с дължина на последователността
    • Квадратно с дължина на последователност
    • Експоненциално с дължина на последователността
    • Независимо от дължината на последователността
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware