引導式測驗 · 硬 等級

塊稀疏和本機稀疏注意力測驗

檢查區塊稀疏注意力、NSA 的壓縮選擇視窗分支、硬體對齊和長序列縮放。

問題 1 的 8

為什麼標準自註意力對於長序列來說代價昂貴?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼標準自註意力對於長序列來說代價昂貴?
    • 其成本隨序列長度呈二次方成長
    • 它使用的參數太少
    • 它無法在 GPU 上運行
    • 它只關注第一個令牌
  2. 塊稀疏注意力的核心思想是什麼?
    • 刪除前饋層
    • 僅在選定的令牌塊之間計算注意力
    • 僅使用一個注意力頭
    • 將嵌入尺寸加倍
  3. 是什麼讓原生稀疏注意力(NSA)與許多早期的稀疏方法不同?
    • 它完全消除了人們的注意力
    • 僅在推理期間有效
    • 它是可端到端訓練的並且與硬體一致
    • 它不需要 GPU
  4. NSA 將哪三個分支組合起來作為其鍵和值?
    • 編碼器、解碼器與嵌入
    • Dropout、標準化和池化
    • 量化、剪枝和蒸餾
    • 壓縮、選擇和滑動視窗
  5. 為什麼 NSA 使用區塊級操作而不是任意令牌級稀疏性?
    • 與 GPU 記憶體存取和張量核心吞吐量保持一致,以實現真正的加速
    • 使模型更大
    • 完全避免使用注意力
    • 減少層數
  6. 在自回歸解碼期間,稀疏注意力特別有用,因為該步驟通常是:
    • 矩陣乘法的計算限制
    • 受記憶體限制,因此減少參與的令牌可以加快速度
    • 與序列長度無關
    • 僅在 CPU 上運行
  7. What information does NSA’s compression branch provide to the attention computation?
    • A full dense score for every token pair
    • Only the optimizer’s first moment
    • Coarse-grained summaries of blocks of tokens
    • A random subset of output labels
  8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
    • They remove the need to compute attention scores
    • They guarantee zero memory use
    • They force every token to attend globally
    • They can select blocks relevant to the input while remaining aligned with efficient hardware operations