Quiz połączony z przewodnikiem · Średni Poziom

Quiz FlashAttention

Sprawdź, jak FlashAttention zmniejsza ruch w pamięci o dużej przepustowości podczas obliczania dokładnej uwagi i jaki sprzęt zmienia cele FlashAttention-3.

Powiązane ścieżki prowadząceBłysk Uwaga
Pytanie 1 z 8

Jakie są główne cele FlashAttention stanowiące wąskie gardło w przypadku standardowej uwagi?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Jakie są główne cele FlashAttention stanowiące wąskie gardło w przypadku standardowej uwagi?
    • Odczyt i zapis dużej matrycy uwagi w celu spowolnienia pamięci GPU
    • Liczba mnożeń zmiennoprzecinkowych
    • Koszt tokenizacji tekstu wejściowego
    • Opóźnienie sieci między procesorami graficznymi
  2. Jak wyniki FlashAttention wypadają w porównaniu ze standardową uwagą?
    • Jest to przybliżenie, które zamienia dokładność na prędkość
    • Jest matematycznie identyczny (dokładny)
    • Działa tylko w przypadku krótkich sekwencji
    • Zmienia wagę modelu
  3. Którą pamięć GPU wykorzystuje FlashAttention do przetwarzania danych w kafelkach?
    • Duża, ale powolna pamięć o dużej przepustowości (HBM)
    • Pamięć RAM procesora
    • Mała, ale bardzo szybka wbudowana pamięć SRAM
    • Przechowywanie dysku
  4. Jaka technika pozwala FlashAttention obliczyć softmax bez jednoczesnego wyświetlania wszystkich wyników?
    • Całkowicie pomijając softmax
    • Zaokrąglanie wszystkich wyników do zera
    • Wstępne obliczenie softmax na procesorze
    • Softmax online (przyrostowy) z bieżącym skalowaniem
  5. Ponieważ macierz pełnej uwagi nigdy nie jest przechowywana w HBM, wykorzystanie pamięci skaluje się w przybliżeniu:
    • Liniowo z długością sekwencji
    • Kwadratowo z długością sekwencji
    • Wykładniczo z długością sekwencji
    • Niezależnie od długości sekwencji
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware