Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Sorozatpárhuzamosság és Gyűrűs figyelem kvíz

Practice Ring Attention block transfers, online softmax, and causal load balancing, including the limits of communication overlap across devices.

kérdés 1 -ból 8

Melyik dimenzió mentén osztja fel a sorozatpárhuzam az adatokat?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Melyik dimenzió mentén osztja fel a sorozatpárhuzam az adatokat?
    • A rejtett/funkció dimenzió
    • A token (szekvencia) dimenzió
    • Csak a tétel mérete
    • A rétegek száma
  2. Mit ad át a Ring Attention a gyűrűben elhelyezett GPU-k között?
    • Teljes modellsúlyok
    • Az optimalizáló kijelenti
    • Végső logikák
    • Kulcs/érték blokkok
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Miért nem szükséges a Ring Attention egyetlen GPU-t sem a teljes K/V tárolásához?
    • A legtöbb kulcsot eldobja
    • Kisebb modellt használ
    • A K/V blokkokban kerül továbbításra, és csak a részeredmények halmozódnak fel
    • A figyelem hozzávetőleges, nem pontos
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Milyen komplikációt okoz az oksági maszkolás a Ring Attention terheléselosztásnál?
    • Ez teszi a modellt megkülönböztethetetlenné
    • A későbbi tokenek több kulcsot kezelnek, ami egyenetlen munkát okoz GPU-nként
    • Megszünteti a gyűrű szükségességét
    • Megduplázza a paraméterek számát
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • A szókincs méretének csökkentése érdekében
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future