引導式測驗 · 中等 等級

KV 快取測驗

查看自回歸解碼期間的 KV 快取重用、記憶體壓力、多請求共享和分頁分配權衡。

相關引導路徑Kv快取
問題 1 的 8

KV快取儲存什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. KV快取儲存什麼?
    • 為之前的標記計算的鍵和值向量
    • 模型的全權重矩陣
    • 使用者的聊天記錄為純文字
    • 最終輸出機率
  2. KV快取主要解決什麼問題?
    • 它改進了生成文本的語法
    • 它避免了在每一步中重新計算所有先前令牌的鍵和值
    • 它增加了模型的詞彙量
    • 它對對話進行加密
  3. KV 快取的主要缺點是什麼?
    • 它使生成速度變慢
    • 它降低了輸出質量
    • 它的記憶體使用量隨著上下文長度線性增長
    • 它僅適用於 CPU
  4. 哪種技術透過在註意力頭之間共享鍵和值來減少 KV 快取大小?
    • 輟學
    • 集束搜尋
    • 代幣化
    • 分組查詢或多查詢注意力
  5. 與 KV 快取相關的 Transformer 推理分為哪兩個階段?
    • 預填(處理提示)和解碼(一次產生一個令牌)
    • 培訓和測試
    • 編碼和壓縮
    • 上傳和下載
  6. vLLM的PagedAttention對KV快取有什麼作用?
    • 在每個令牌之後刪除快取
    • 將快取分配在不連續的區塊中以減少記憶體碎片
    • 將快取轉換為文字
    • 將模型的參數數加倍
  7. 為什麼 KV 快取記憶體會限制 GPU 同時服務的請求數量?
    • 快取會將所有訓練範例儲存在 GPU 上
    • 每個請求都會建立一個新的模型副本
    • 每個活躍序列會保留隨其生成上下文而增長的鍵和值張量
    • 快取僅將最終文字儲存於磁碟上
  8. 在具有共同前綴的請求之間共享 KV 快取區塊有什麼好處?
    • 它會將不相關的前綴變成相同
    • 它消除了計算注意力的需求
    • 它保證在每個工作負載中都有更低的延遲
    • 它可以避免存儲重複的前綴狀態並減少記憶體使用