ガイド連動クイズ · ハード レベル

シーケンス並列性とリング アテンション クイズ

リング アテンション ブロック転送、オンライン ソフトマックス、およびデバイス間の通信オーバーラップの制限を含む因果的負荷分散を練習します。

関連するガイドパスシーケンスの並列性とリング アテンション
質問 1 の 8

シーケンス並列処理はどの次元に沿ってデータを分割しますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. シーケンス並列処理はどの次元に沿ってデータを分割しますか?
    • 隠れた/機能のディメンション
    • トークン (シーケンス) ディメンション
    • バッチディメンションのみ
    • レイヤー数
  2. Ring Attendance はリング状に配置された GPU 間で何を渡しますか?
    • フルモデルの重量
    • オプティマイザーの状態
    • 最終ロジット
    • キー/値ブロック
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. リング アテンションでは、完全な K/V を保存するために単一の GPU が必要ないのはなぜですか?
    • ほとんどのキーを破棄します
    • 小さめのモデルを使用しています
    • K/V はブロック単位でストリーミングされ、部分的な結果のみが蓄積されます
    • 注意力はおおよそのものであり、正確なものではありません
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. 因果マスキングはリング アテンションのロード バランシングにどのような複雑さをもたらしますか?
    • モデルが微分不可能になります
    • 後のトークンはより多くのキーに対応するため、GPU ごとの作業が不均一になります
    • 指輪の必要性がなくなる
    • パラメータ数が2倍になります
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • 語彙サイズを減らすには
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future