引導式測驗 · 中等 等級

稀疏注意力模式測驗

比較本地、擴展、隨機和全局稀疏注意連接,以及優化內核如何在長輸入處理中跳過未使用的條目。

相關引導路徑稀疏注意力模式
問題 1 的 8

為什麼在長序列上完全自註意力會很昂貴?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼在長序列上完全自註意力會很昂貴?
    • 它的成本隨著序列長度的平方而成長
    • 它無法使用 GPU
    • 它只適用於簡短的單詞
    • 它根本不需要內存
  2. 什麼是滑動視窗(局部)注意力?
    • 每個令牌都涉及一個隨機資料庫
    • 每個令牌只關注其附近的鄰居
    • 代幣從不參與任何事情
    • 每個令牌都會處理所有令牌兩次
  3. 稀疏注意力中「全局代幣」的目的是什麼?
    • 減慢模型速度
    • 儲存影像
    • 充當樞紐,照顧一切,一切都照顧
    • 替換詞彙
  4. 哪個模型證明了隨機、視窗和全局注意力的結合可以保持全注意力的表達能力?
    • 殘差網絡
    • 詞向量
    • 亞歷克斯網
    • 大鳥
  5. 在精心設計的稀疏注意力中,連接數量大致如何擴展?
    • 與序列長度大致呈線性關係
    • 與序列長度成二次方
    • 與長度無關
    • 與序列長度呈指數關係
  6. What do strided or dilated sparse-attention patterns allow?
    • 計算它們然後將它們設為零
    • Skip ahead to reach distant context with fewer attention links
    • 將它們發送到另一台伺服器
    • 永久儲存它們
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query