引導式測驗 · 硬 等級

多頭潛在註意力測驗

探索 MLA 的共享潛在快取、低秩重建、投影吸收、位置編碼路徑和推理記憶體節省。

相關引導路徑多頭潛在註意力
問題 1 的 8

多頭潛在註意力旨在減少的主要問題是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 多頭潛在註意力旨在減少的主要問題是什麼?
    • 推理期間鍵值快取的記憶體消耗
    • 訓練資料稀缺
    • 模型參數個數
    • 分詞器詞彙量
  2. MLA如何收縮KV快取?
    • 它從快取中刪除舊的令牌
    • 它儲存一個小的低秩潛在向量,而不是完整的每個頭鍵和值
    • 它對所有內容都使用 1 位元權重
    • 它完全忽略了某些標記
  3. 哪個模型首先引入了多頭潛在註意力?
    • GPT-2
    • 伯特
    • DeepSeek-V2
    • 美洲駝1
  4. 為什麼 MLA 需要一個單獨的「解耦」路徑來進行旋轉位置嵌入?
    • 因為位置與注意力無關
    • 因為 RoPE 使詞彙量翻倍
    • 因為它加快了優化器的速度
    • 因為旋轉不能像鑰匙的其餘部分那樣折疊到吸收的向上投影中
  5. 與標準多頭注意力相比,DeepSeek-V2 從 MLA 報告的 KV 快取記憶體減少了大約多少?
    • 超過90%
    • 約5%
    • 正好 50%
    • 沒有減少,只有速度提升
  6. MLA 較小的每個令牌快取直接帶來什麼實際好處?
    • 消除對任何 GPU 的需求
    • 相同硬體上更大的推理批量大小和更長的上下文
    • 自動翻譯成所有語言
    • 刪除softmax操作
  7. What is the purpose of absorbing MLA up-projection weights into other projections?
    • Remove positional information from every token
    • Increase the size of the cached latent
    • Avoid materializing full per-head keys and values during inference
    • Replace attention with a recurrent network
  8. What positional information does MLA handle on a separate decoupled key path?
    • Class labels from the training data
    • Image segmentation maps
    • The output vocabulary probabilities
    • Rotary position embeddings that cannot be absorbed like the other key projections