Kuiz berkaitan panduan · Keras Tahap

Keselarian Urutan dan Kuiz Perhatian Deringan

Amalkan pemindahan blok Perhatian Dering, softmax dalam talian dan pengimbangan beban kausal, termasuk had pertindihan komunikasi merentas peranti.

Laluan panduan yang berkaitanKeselarian Urutan Dan Perhatian Cincin
soalan 1 daripada 8

Sepanjang dimensi yang manakah selari jujukan membahagikan data?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Sepanjang dimensi yang manakah selari jujukan membahagikan data?
    • Dimensi tersembunyi/ciri
    • Dimensi token (jujukan).
    • Dimensi batch sahaja
    • Bilangan lapisan
  2. Apakah yang diberikan Ring Attention antara GPU yang disusun dalam cincin?
    • Berat model penuh
    • Keadaan pengoptimum
    • Logit akhir
    • Blok kunci/nilai
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Mengapakah Ring Attention tidak memerlukan mana-mana GPU tunggal untuk menyimpan K/V penuh?
    • Ia membuang kebanyakan kunci
    • Ia menggunakan model yang lebih kecil
    • K/V distrim dalam blok dan hanya keputusan separa terkumpul
    • Perhatian adalah anggaran, tidak tepat
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Apakah komplikasi yang diperkenalkan oleh pelekat sebab untuk pengimbangan beban Ring Attention?
    • Ia menjadikan model tidak boleh dibezakan
    • Token kemudian mengambil lebih banyak kunci, menyebabkan kerja tidak sekata bagi setiap GPU
    • Ia menghilangkan keperluan untuk cincin
    • Ia menggandakan kiraan parameter
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Untuk mengurangkan saiz perbendaharaan kata
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future