引導式測驗 · 硬 等級
多頭潛在註意力測驗
探索 MLA 的共享潛在快取、低秩重建、投影吸收、位置編碼路徑和推理記憶體節省。
問題 1 的 8
多頭潛在註意力旨在減少的主要問題是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 多頭潛在註意力旨在減少的主要問題是什麼?
- 推理期間鍵值快取的記憶體消耗
- 訓練資料稀缺
- 模型參數個數
- 分詞器詞彙量
- MLA如何收縮KV快取?
- 它從快取中刪除舊的令牌
- 它儲存一個小的低秩潛在向量,而不是完整的每個頭鍵和值
- 它對所有內容都使用 1 位元權重
- 它完全忽略了某些標記
- 哪個模型首先引入了多頭潛在註意力?
- GPT-2
- 伯特
- DeepSeek-V2
- 美洲駝1
- 為什麼 MLA 需要一個單獨的「解耦」路徑來進行旋轉位置嵌入?
- 因為位置與注意力無關
- 因為 RoPE 使詞彙量翻倍
- 因為它加快了優化器的速度
- 因為旋轉不能像鑰匙的其餘部分那樣折疊到吸收的向上投影中
- 與標準多頭注意力相比,DeepSeek-V2 從 MLA 報告的 KV 快取記憶體減少了大約多少?
- 超過90%
- 約5%
- 正好 50%
- 沒有減少,只有速度提升
- MLA 較小的每個令牌快取直接帶來什麼實際好處?
- 消除對任何 GPU 的需求
- 相同硬體上更大的推理批量大小和更長的上下文
- 自動翻譯成所有語言
- 刪除softmax操作
- What is the purpose of absorbing MLA up-projection weights into other projections?
- Remove positional information from every token
- Increase the size of the cached latent
- Avoid materializing full per-head keys and values during inference
- Replace attention with a recurrent network
- What positional information does MLA handle on a separate decoupled key path?
- Class labels from the training data
- Image segmentation maps
- The output vocabulary probabilities
- Rotary position embeddings that cannot be absorbed like the other key projections