引導式測驗 · 硬 等級
塊稀疏和本機稀疏注意力測驗
檢查區塊稀疏注意力、NSA 的壓縮選擇視窗分支、硬體對齊和長序列縮放。
問題 1 的 8
為什麼標準自註意力對於長序列來說代價昂貴?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼標準自註意力對於長序列來說代價昂貴?
- 其成本隨序列長度呈二次方成長
- 它使用的參數太少
- 它無法在 GPU 上運行
- 它只關注第一個令牌
- 塊稀疏注意力的核心思想是什麼?
- 刪除前饋層
- 僅在選定的令牌塊之間計算注意力
- 僅使用一個注意力頭
- 將嵌入尺寸加倍
- 是什麼讓原生稀疏注意力(NSA)與許多早期的稀疏方法不同?
- 它完全消除了人們的注意力
- 僅在推理期間有效
- 它是可端到端訓練的並且與硬體一致
- 它不需要 GPU
- NSA 將哪三個分支組合起來作為其鍵和值?
- 編碼器、解碼器與嵌入
- Dropout、標準化和池化
- 量化、剪枝和蒸餾
- 壓縮、選擇和滑動視窗
- 為什麼 NSA 使用區塊級操作而不是任意令牌級稀疏性?
- 與 GPU 記憶體存取和張量核心吞吐量保持一致,以實現真正的加速
- 使模型更大
- 完全避免使用注意力
- 減少層數
- 在自回歸解碼期間,稀疏注意力特別有用,因為該步驟通常是:
- 矩陣乘法的計算限制
- 受記憶體限制,因此減少參與的令牌可以加快速度
- 與序列長度無關
- 僅在 CPU 上運行
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations