Quiz dotyczący uwagi Flash

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jakie jest główne wąskie gardło, na które celuje Flash Attention?
   • Odczyt i zapis dużej matrycy uwagi w celu spowolnienia pamięci GPU
   • Liczba mnożeń zmiennoprzecinkowych, na które zwraca się uwagę
   • Koszt wczytania wag modeli z dysku
   • Opóźnienie sieciowe pomiędzy wieloma procesorami graficznymi
2. W jaki sposób Flash Attention unika przechowywania pełnej macierzy uwagi N na N?
   • Przybliża uwagę przypadkowymi projekcjami
   • Przetwarza zapytania, klucze i wartości w małych kafelkach i łączy częściowe wyniki
   • Całkowicie pomija większość par tokenów
   • Kompresuje matrycę za pomocą kwantyzacji
3. Jaka technika pozwala programowi Flash Attention poprawnie obliczyć wartość softmax bez jednoczesnego wyświetlania całego wiersza?
   • Wstępnie obliczona tabela przeglądowa wykładników
   • Porzucenie softmaxu i użycie przybliżenia liniowego
   • Działający (online) softmax, który śledzi bieżące maksimum i sumę
   • Sortowanie wyników przed normalizacją
4. W porównaniu do standardowej uwagi, wynik Flash Attention jest następujący:
   • Zgrubne przybliżenie, które zamienia dokładność na prędkość
   • Bardziej dokładne ze względu na większą precyzję
   • Dotyczy tylko krótkich sekwencji
   • Matematycznie identyczne, tylko obliczone wydajniej
5. Dlaczego Flash Attention najbardziej pomaga w przypadku długich sekwencji?
   • Ponieważ pamięć uwagi rośnie kwadratowo wraz z długością sekwencji
   • Ponieważ dłuższe sekwencje wymagają mniejszej liczby warstw
   • Ponieważ softmax staje się niepotrzebny w przypadku długich danych wejściowych
   • Ponieważ procesory graficzne działają wolniej w krótkich sekwencjach
6. Jaki priorytet ma minimalizacja w konstrukcji Flash Attention obsługującej IO?
   • Liczba parametrów modelu
   • Pamięć odczytuje i zapisuje pomiędzy SRAM i HBM
   • Głębokość sieci neuronowej
   • Rozmiar słownictwa tokenizera
7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
   • The number of model layers must double
   • Every token is compared with only one other token
   • The number of query-key pair interactions grows with the square of sequence length
   • The number of model parameters becomes zero
8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
   • It intentionally drops all long-distance tokens
   • It changes the model weights during inference
   • It replaces softmax with a random sample
   • Floating-point operations can occur in a different order during tiled accumulation