語言人工智慧指南

KV快取

KV 快取儲存轉換器已經為先前的標記計算的鍵和值向量,因此它不必為它產生的每個新單字重新計算它們。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. KV緩存的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這是文字生成快速的最大單一原因,也是長對話中消耗 GPU 記憶體的主要因素。

深入探討

Transformer 一次產生一個 token 的文本,每個新 token 的注意力層需要與每個先前的 token 進行比較。注意力機制將每個標記轉換為查詢、鍵和值向量。如果沒有緩存,產生令牌數量 1,000 將意味著在每一步重新計算所有 999 個早期令牌的鍵和值 - 二次方,浪費工作。 KV 快取在首次計算並重複使用這些鍵和值向量後保存這些向量,因此每個新步驟僅計算單個最新令牌的向量並參與儲存的快取。這將每個令牌的成本從隨序列長度縮放到大致恆定。權衡是記憶體:快取隨著上下文長度、層數和注意力頭線性增長,通常成為長上下文服務中的主要記憶體消耗者。

現實世界的實施

透過重複使用對話歷史記錄中快取的鍵/值而不是每輪重新處理它來加快聊天機器人的回應速度。

前綴緩存可在多個用戶之間共享長系統提示的緩存,從而降低成本和延遲。

vLLM 的 PagedAttention 以區塊的形式管理 KV 緩存,以便在一個 GPU 上有效地服務許多並發請求。

將 KV 快取量化為較低精度,以將較長的上下文放入有限的 GPU 記憶體中。

KV緩存的未來

隨著上下文視窗擴展到數十萬個令牌,KV 快取成為中心瓶頸,因此創新非常激烈:快取量化到 8 或 4 位元、丟棄低重要性令牌的逐出策略、跨請求前綴共享以及卸載到 CPU 或磁碟。諸如多頭潛在註意力之類的架構轉變會壓縮快取本身。預計注意力變體和記憶系統將繼續共同設計,旨在以低成本和高吞吐量服務很長的上下文。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 KV 快取測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 KV 快取?

KV 快取儲存轉換器已經為先前的標記計算的鍵和值向量,因此它不必為它產生的每個新單字重新計算它們。這是文字產生速度快的最大原因,也是長時間對話期間消耗 GPU 記憶體的主要原因。

KV快取儲存什麼?

KV 快取保存來自早期標記的鍵和值向量,因此註意力可以重複使用它們而不是重新計算。

KV快取主要解決什麼問題?

快取會重複使用先前 token 計算出的鍵和值,而不是在每個解碼步驟重新建構。新的查詢仍會對快取位置進行注意力計算,因此注意力工作量與快取記憶體會隨著上下文長度持續增加。

KV 快取的主要缺點是什麼?

快取隨著序列長度、層和頭而增長,通常成為長上下文服務中 GPU 記憶體的主要消耗者。

哪種技術透過在註意力頭之間共享鍵和值來減少 KV 快取大小?

分組查詢和多查詢注意力讓多個查詢頭共享更少的鍵/值集,從而大大縮小快取。

與 KV 快取相關的 Transformer 推理分為哪兩個階段?

Prefill 以提示的 K/V 填充快取;解碼每一步都會附加一個新令牌的 K/V,並重新參與快取。