Kvíz spojený s průvodcem · Těžko úroveň

Kvíz sekvenčního paralelismu a kroužkové pozornosti

Cvičte přenosy bloků Ring Attention, online softmax a kauzální vyvažování zátěže, včetně limitů komunikace se překrývají mezi zařízeními.

Otázka 1 z 8

Podél které dimenze rozděluje sekvenční paralelismus data?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Podél které dimenze rozděluje sekvenční paralelismus data?
    • Dimenze skryté/vlastní
    • Dimenze tokenu (sekvence).
    • Pouze rozměr dávky
    • Počet vrstev
  2. Co předává Ring Attention mezi GPU uspořádanými do kruhu?
    • Kompletní váhy modelu
    • Stavy optimalizátoru
    • Konečné logity
    • Bloky klíč/hodnota
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Proč Ring Attention nevyžaduje žádný jediný GPU k uložení celého K/V?
    • Zahodí většinu klíčů
    • Používá menší model
    • K/V se streamuje po blocích a shromažďují se pouze dílčí výsledky
    • Pozornost je přibližná, nikoli přesná
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Jakou komplikaci přináší kauzální maskování pro vyrovnávání zátěže Ring Attention?
    • Díky tomu je model nediferencovatelný
    • Pozdější tokeny se starají o více klíčů, což způsobuje nerovnoměrnou práci na GPU
    • Odstraňuje potřebu prstenu
    • Zdvojnásobuje počet parametrů
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Chcete-li snížit velikost slovní zásoby
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future