Kvíz spojený s průvodcem · Těžko úroveň
Kvíz sekvenčního paralelismu a kroužkové pozornosti
Cvičte přenosy bloků Ring Attention, online softmax a kauzální vyvažování zátěže, včetně limitů komunikace se překrývají mezi zařízeními.
Otázka 1 z 8
Podél které dimenze rozděluje sekvenční paralelismus data?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Podél které dimenze rozděluje sekvenční paralelismus data?
- Dimenze skryté/vlastní
- Dimenze tokenu (sekvence).
- Pouze rozměr dávky
- Počet vrstev
- Co předává Ring Attention mezi GPU uspořádanými do kruhu?
- Kompletní váhy modelu
- Stavy optimalizátoru
- Konečné logity
- Bloky klíč/hodnota
- How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
- Online softmax with a running maximum and normalizer
- Randomly dropping unseen key blocks
- Truncating every distant key
- Replacing all attention scores with zeros
- Proč Ring Attention nevyžaduje žádný jediný GPU k uložení celého K/V?
- Zahodí většinu klíčů
- Používá menší model
- K/V se streamuje po blocích a shromažďují se pouze dílčí výsledky
- Pozornost je přibližná, nikoli přesná
- When can Ring Attention reduce the exposed time spent transferring K/V blocks?
- Whenever the model has any number of parameters
- Only when every device stores the full sequence
- By eliminating all transfers between devices
- When useful block computation overlaps those transfers
- Jakou komplikaci přináší kauzální maskování pro vyrovnávání zátěže Ring Attention?
- Díky tomu je model nediferencovatelný
- Pozdější tokeny se starají o více klíčů, což způsobuje nerovnoměrnou práci na GPU
- Odstraňuje potřebu prstenu
- Zdvojnásobuje počet parametrů
- A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
- To discard the earlier keys permanently
- To replace all token embeddings
- To keep accumulated terms consistent with the updated running maximum
- Chcete-li snížit velikost slovní zásoby
- Under causal masking with contiguous sequence shards, which tokens can require more attention work?
- Later tokens that can attend to more preceding positions
- All tokens require exactly one key
- Only padding tokens at the start
- Earlier tokens because they can see the future