Równoległość sekwencji i quiz dotyczący uwagi pierścieniowej

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Wzdłuż jakiego wymiaru równoległość sekwencji dzieli dane?
   • Wymiar ukryty/cechowy
   • Wymiar tokenu (sekwencji).
   • Tylko wymiar partii
   • Liczba warstw
2. Co funkcja Ring Attention przekazuje pomiędzy procesorami graficznymi ustawionymi w pierścieniu?
   • Pełne wagi modelu
   • Stany optymalizatora
   • Logity końcowe
   • Bloki klucz/wartość
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. Dlaczego aplikacja Ring Attention nie wymaga żadnego pojedynczego procesora graficznego do przechowywania pełnego współczynnika K/V?
   • Odrzuca większość kluczy
   • Używa mniejszego modelu
   • Wartość K/V jest przesyłana strumieniowo w blokach i kumulowane są tylko częściowe wyniki
   • Uwaga jest przybliżona, a nie dokładna
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. Jakie komplikacje wprowadza maskowanie przyczynowe w przypadku równoważenia obciążenia Ring Attention?
   • Sprawia to, że model jest nieróżniczkowalny
   • Później tokeny obsługują więcej kluczy, powodując nierówną pracę każdego procesora graficznego
   • Eliminuje potrzebę pierścionka
   • Podwaja liczbę parametrów
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • Aby zmniejszyć rozmiar słownictwa
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future