引導式測驗 · 硬 等級
序列並行性與環注意力測驗
練習環注意力區塊傳輸、線上 softmax 和因果負載平衡,包括跨裝置通訊重疊的限制。
問題 1 的 8
序列並行沿著哪個維度分割資料?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 序列並行沿著哪個維度分割資料?
- 隱藏/特徵維度
- 令牌(序列)維度
- 僅批次尺寸
- 層數
- 環形注意力機制在排列成環形的 GPU 之間傳遞什麼?
- 全模型重量
- 優化器狀態
- 最終邏輯
- 鍵/值區塊
- 環形注意力如何在不近似完整注意力模式的情況下組合部分注意力塊?
- Online softmax with a running maximum and normalizer
- Randomly dropping unseen key blocks
- Truncating every distant key
- Replacing all attention scores with zeros
- 為什麼 Ring Attention 不需要任何單一 GPU 來儲存完整的 K/V?
- 它會丟棄大多數鍵
- 它使用較小的模型
- K/V 以區塊的形式傳輸,僅累積部分結果
- 注意力是近似的,而不是精確的
- Ring Attention什麼時候可以減少傳輸K/V塊所花費的暴露時間?
- Whenever the model has any number of parameters
- Only when every device stores the full sequence
- By eliminating all transfers between devices
- When useful block computation overlaps those transfers
- 因果屏蔽會為環注意力負載平衡帶來什麼複雜性?
- 它使模型不可微分
- 後來的令牌處理更多的按鍵,導致每個 GPU 的工作不均勻
- 它消除了戒指的需要
- 參數數量加倍
- A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
- To discard the earlier keys permanently
- To replace all token embeddings
- To keep accumulated terms consistent with the updated running maximum
- 減少詞彙量
- Under causal masking with contiguous sequence shards, which tokens can require more attention work?
- Later tokens that can attend to more preceding positions
- All tokens require exactly one key
- Only padding tokens at the start
- Earlier tokens because they can see the future