引導式測驗 · 中等 等級
KV 快取測驗
查看自回歸解碼期間的 KV 快取重用、記憶體壓力、多請求共享和分頁分配權衡。
問題 1 的 8
KV快取儲存什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- KV快取儲存什麼?
- 為之前的標記計算的鍵和值向量
- 模型的全權重矩陣
- 使用者的聊天記錄為純文字
- 最終輸出機率
- KV快取主要解決什麼問題?
- 它改進了生成文本的語法
- 它避免了在每一步中重新計算所有先前令牌的鍵和值
- 它增加了模型的詞彙量
- 它對對話進行加密
- KV 快取的主要缺點是什麼?
- 它使生成速度變慢
- 它降低了輸出質量
- 它的記憶體使用量隨著上下文長度線性增長
- 它僅適用於 CPU
- 哪種技術透過在註意力頭之間共享鍵和值來減少 KV 快取大小?
- 輟學
- 集束搜尋
- 代幣化
- 分組查詢或多查詢注意力
- 與 KV 快取相關的 Transformer 推理分為哪兩個階段?
- 預填(處理提示)和解碼(一次產生一個令牌)
- 培訓和測試
- 編碼和壓縮
- 上傳和下載
- vLLM的PagedAttention對KV快取有什麼作用?
- 在每個令牌之後刪除快取
- 將快取分配在不連續的區塊中以減少記憶體碎片
- 將快取轉換為文字
- 將模型的參數數加倍
- 為什麼 KV 快取記憶體會限制 GPU 同時服務的請求數量?
- 快取會將所有訓練範例儲存在 GPU 上
- 每個請求都會建立一個新的模型副本
- 每個活躍序列會保留隨其生成上下文而增長的鍵和值張量
- 快取僅將最終文字儲存於磁碟上
- 在具有共同前綴的請求之間共享 KV 快取區塊有什麼好處?
- 它會將不相關的前綴變成相同
- 它消除了計算注意力的需求
- 它保證在每個工作負載中都有更低的延遲
- 它可以避免存儲重複的前綴狀態並減少記憶體使用