引導式測驗 · 硬 等級
線性注意力和表演者內核測驗
檢查 softmax 注意力的序列成本、關聯重排、FAVOR+ 核近似、隨機特徵和線性複雜度。
問題 1 的 8
為什麼標準的 softmax 注意力隨序列長度的變化很差?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 為什麼標準的 softmax 注意力隨序列長度的變化很差?
- 它的時間和記憶體隨著序列長度的平方而增長
- 它需要按字母順序對所有標記進行排序
- 它一次只能處理一個令牌
- 每個令牌需要一個單獨的神經網絡
- 什麼數學屬性可以讓線性注意力避免 n×n 矩陣?
- 加法的交換律
- 矩陣乘法的結合性
- softmax的分配律
- 特徵值分解
- Performer的FAVOR+機制大概是怎麼樣的?
- 梯度下降更新
- 分詞器詞彙
- Softmax注意力內核
- 層歸一化統計
- 為什麼 Performer 使用正隨機特徵而不是早期的三角特徵?
- 它們僅在 CPU 上運行速度更快
- 它們消除了任何隨機性的需要
- 他們使模型完全可解釋
- 它們保證非負注意力權重並提高數值穩定性
- 序列長度 n 中表演者式線性注意力的近似複雜度是多少?
- O(n)
- O(n^2)
- O(n log n)
- O(2^n)
- 與完整的 softmax 注意力相比,純線性注意力的常見限制是什麼?
- 它無法在 GPU 上運行
- 它通常會獲得稍低的建模質量
- 它僅適用於圖像
- 它需要每個令牌的標記數據
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate