Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Sorozatpárhuzamosság és Gyűrűs figyelem kvíz
Practice Ring Attention block transfers, online softmax, and causal load balancing, including the limits of communication overlap across devices.
kérdés 1 -ból 8
Melyik dimenzió mentén osztja fel a sorozatpárhuzam az adatokat?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Melyik dimenzió mentén osztja fel a sorozatpárhuzam az adatokat?
- A rejtett/funkció dimenzió
- A token (szekvencia) dimenzió
- Csak a tétel mérete
- A rétegek száma
- Mit ad át a Ring Attention a gyűrűben elhelyezett GPU-k között?
- Teljes modellsúlyok
- Az optimalizáló kijelenti
- Végső logikák
- Kulcs/érték blokkok
- How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
- Online softmax with a running maximum and normalizer
- Randomly dropping unseen key blocks
- Truncating every distant key
- Replacing all attention scores with zeros
- Miért nem szükséges a Ring Attention egyetlen GPU-t sem a teljes K/V tárolásához?
- A legtöbb kulcsot eldobja
- Kisebb modellt használ
- A K/V blokkokban kerül továbbításra, és csak a részeredmények halmozódnak fel
- A figyelem hozzávetőleges, nem pontos
- When can Ring Attention reduce the exposed time spent transferring K/V blocks?
- Whenever the model has any number of parameters
- Only when every device stores the full sequence
- By eliminating all transfers between devices
- When useful block computation overlaps those transfers
- Milyen komplikációt okoz az oksági maszkolás a Ring Attention terheléselosztásnál?
- Ez teszi a modellt megkülönböztethetetlenné
- A későbbi tokenek több kulcsot kezelnek, ami egyenetlen munkát okoz GPU-nként
- Megszünteti a gyűrű szükségességét
- Megduplázza a paraméterek számát
- A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
- To discard the earlier keys permanently
- To replace all token embeddings
- To keep accumulated terms consistent with the updated running maximum
- A szókincs méretének csökkentése érdekében
- Under causal masking with contiguous sequence shards, which tokens can require more attention work?
- Later tokens that can attend to more preceding positions
- All tokens require exactly one key
- Only padding tokens at the start
- Earlier tokens because they can see the future