引導式測驗 · 中等 等級
稀疏注意力模式測驗
比較本地、擴展、隨機和全局稀疏注意連接,以及優化內核如何在長輸入處理中跳過未使用的條目。
問題 1 的 8
為什麼在長序列上完全自註意力會很昂貴?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼在長序列上完全自註意力會很昂貴?
- 它的成本隨著序列長度的平方而成長
- 它無法使用 GPU
- 它只適用於簡短的單詞
- 它根本不需要內存
- 什麼是滑動視窗(局部)注意力?
- 每個令牌都涉及一個隨機資料庫
- 每個令牌只關注其附近的鄰居
- 代幣從不參與任何事情
- 每個令牌都會處理所有令牌兩次
- 稀疏注意力中「全局代幣」的目的是什麼?
- 減慢模型速度
- 儲存影像
- 充當樞紐,照顧一切,一切都照顧
- 替換詞彙
- 哪個模型證明了隨機、視窗和全局注意力的結合可以保持全注意力的表達能力?
- 殘差網絡
- 詞向量
- 亞歷克斯網
- 大鳥
- 在精心設計的稀疏注意力中,連接數量大致如何擴展?
- 與序列長度大致呈線性關係
- 與序列長度成二次方
- 與長度無關
- 與序列長度呈指數關係
- What do strided or dilated sparse-attention patterns allow?
- 計算它們然後將它們設為零
- Skip ahead to reach distant context with fewer attention links
- 將它們發送到另一台伺服器
- 永久儲存它們
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query