引導式測驗 · 硬 等級

線性注意力和表演者內核測驗

檢查 softmax 注意力的序列成本、關聯重排、FAVOR+ 核近似、隨機特徵和線性複雜度。

問題 1 的 8

為什麼標準的 softmax 注意力隨序列長度的變化很差?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 為什麼標準的 softmax 注意力隨序列長度的變化很差?
    • 它的時間和記憶體隨著序列長度的平方而增長
    • 它需要按字母順序對所有標記進行排序
    • 它一次只能處理一個令牌
    • 每個令牌需要一個單獨的神經網絡
  2. 什麼數學屬性可以讓線性注意力避免 n×n 矩陣?
    • 加法的交換律
    • 矩陣乘法的結合性
    • softmax的分配律
    • 特徵值分解
  3. Performer的FAVOR+機制大概是怎麼樣的?
    • 梯度下降更新
    • 分詞器詞彙
    • Softmax注意力內核
    • 層歸一化統計
  4. 為什麼 Performer 使用正隨機特徵而不是早期的三角特徵?
    • 它們僅在 CPU 上運行速度更快
    • 它們消除了任何隨機性的需要
    • 他們使模型完全可解釋
    • 它們保證非負注意力權重並提高數值穩定性
  5. 序列長度 n 中表演者式線性注意力的近似複雜度是多少?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. 與完整的 softmax 注意力相比,純線性注意力的常見限制是什麼?
    • 它無法在 GPU 上運行
    • 它通常會獲得稍低的建模質量
    • 它僅適用於圖像
    • 它需要每個令牌的標記數據
  7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
    • Compute QK^T and store every pairwise score
    • Apply softmax to the full n-by-n matrix first
    • Compute phi(K)^T V before multiplying by phi(Q)
    • Multiply the final output by the sequence length
  8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
    • It guarantees exact softmax for every sequence
    • It removes the need for query and key vectors
    • It makes attention quadratic in sequence length
    • It reduces variance in the random-feature estimate