Rehber bağlantılı sınav · Sert Seviye

Dizi Paralelliği ve Halka Dikkat Testi

Cihazlar arasındaki iletişim çakışmasının sınırları da dahil olmak üzere Ring Attention blok aktarımları, çevrimiçi softmax ve nedensel yük dengeleme alıştırmaları yapın.

İlgili kılavuz yollarıDizi Paralelliği ve Halka Dikkati
Soru 1 arasında 8

Dizi paralelliği verileri hangi boyut boyunca böler?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Dizi paralelliği verileri hangi boyut boyunca böler?
    • Gizli/özellik boyutu
    • Belirteç (sıra) boyutu
    • Yalnızca parti boyutu
    • Katman sayısı
  2. Ring Attention bir halka şeklinde düzenlenmiş GPU'lar arasında ne aktarır?
    • Tam model ağırlıkları
    • Optimize edici durumları
    • Son logitler
    • Anahtar/değer blokları
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Ring Attention neden K/V'nin tamamını depolamak için tek bir GPU'ya ihtiyaç duymuyor?
    • Çoğu anahtarı atar
    • Daha küçük bir model kullanıyor
    • K/V bloklar halinde yayınlanır ve yalnızca kısmi sonuçlar toplanır
    • Dikkat kesin değil yaklaşıktır
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Nedensel maskeleme, Ring Attention yük dengeleme için hangi komplikasyonları ortaya çıkarır?
    • Modeli türevlenemez hale getirir
    • Daha sonra belirteçler daha fazla anahtara katılarak GPU başına dengesiz çalışmaya neden olur
    • Yüzük ihtiyacını ortadan kaldırır
    • Parametre sayısını iki katına çıkarır
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Kelime boyutunu azaltmak için
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future