Kuis Paralelisme Urutan dan Perhatian Cincin

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Sepanjang dimensi manakah paralelisme urutan membagi data?
   • Dimensi tersembunyi/fitur
   • Dimensi token (urutan).
   • Hanya dimensi batch
   • Jumlah lapisan
2. Apa yang dilewatkan oleh Ring Attention antara GPU yang disusun dalam sebuah ring?
   • Bobot model penuh
   • Status pengoptimal
   • Log terakhir
   • Blok kunci/nilai
3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
   • Online softmax with a running maximum and normalizer
   • Randomly dropping unseen key blocks
   • Truncating every distant key
   • Replacing all attention scores with zeros
4. Mengapa Ring Attention tidak memerlukan satu GPU pun untuk menyimpan K/V lengkap?
   • Ini membuang sebagian besar kunci
   • Ini menggunakan model yang lebih kecil
   • K/V dialirkan dalam blok dan hanya sebagian hasil yang diakumulasikan
   • Perhatian adalah perkiraan, bukan eksak
5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
   • Whenever the model has any number of parameters
   • Only when every device stores the full sequence
   • By eliminating all transfers between devices
   • When useful block computation overlaps those transfers
6. Komplikasi apa yang ditimbulkan oleh penyembunyian kausal untuk penyeimbangan beban Ring Attention?
   • Hal ini membuat model tidak dapat dibedakan
   • Token selanjutnya menangani lebih banyak kunci, menyebabkan pekerjaan per GPU tidak merata
   • Ini menghilangkan kebutuhan akan cincin
   • Ini menggandakan jumlah parameter
7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
   • To discard the earlier keys permanently
   • To replace all token embeddings
   • To keep accumulated terms consistent with the updated running maximum
   • Untuk mengurangi ukuran kosakata
8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
   • Later tokens that can attend to more preceding positions
   • All tokens require exactly one key
   • Only padding tokens at the start
   • Earlier tokens because they can see the future