概述
这就是为什么您可以在单个消费级 GPU 而不是数据中心机架上运行功能强大的模型。
深入探討
訓練後量化 (PTQ) 無需重新訓練即可壓縮完成的模型,將高精度權重映射至 4 位,大約佔用四分之一的記憶體。挑戰在於在不破壞準確性的情況下做到這一點。 GPTQ(OBQ 的改進)逐層量化權重,使用來自小型校準資料集的二階資訊來調整剩餘權重並補償每個舍入誤差。 AWQ(激活感知權重量化)採取不同的角度:它觀察到一小部分權重通道異常重要,透過查看激活幅度來識別,並透過縮放而不是積極量化它們來保護這些顯著通道。兩者都允許像 Llama 這樣的模型以 4 位元運行,而 vLLM、llama.cpp 和 AutoGPTQ 等工具使它們成為本地且經濟高效的推理的主流。
現實世界的實施
使用 4 位元 GPTQ 權重在單一 24 GB 消費級 GPU 上運行 700 億參數的 Llama 模型。
AWQ 量化模型在 vLLM 中以高吞吐量提供服務,以實現經濟高效的生產 API。
llama.cpp 使用量化的 GGUF 權重在筆記型電腦 CPU 上本地運行語言模型。
Hugging Face 的 AutoGPTQ 和 AutoAWQ 函式庫讓開發人員可以用幾行程式碼量化下載的模型。
GPTQ 與 AWQ 訓練後量化的未來
量化正在將 4 位元以下推向 3 位元、2 位元和混合精度方案,通常與稀疏性相結合。期望與服務引擎更緊密地耦合,以便量化、KV 快取壓縮和推測解碼一起工作。對 NVFP4 和 MXFP4 等低位格式的硬體支援正在成熟,自動化工具將越來越多地選擇每層位寬度。總體目標是將近乎無損的 4 位元(及更低位元)作為預設值,使強大的模型能夠廉價地服務於任何地方。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 GPTQ 和 AWQ 訓練後量化?
GPTQ 和 AWQ 是將已訓練的語言模型縮小到 4 位元精確度的兩種領先方法,以便它們在更便宜、更小的硬體上運行。這就是為什麼您可以在單一消費級 GPU 而不是資料中心機架上運行功能強大的模型。
「訓練後量化」是什麼意思?
訓練後量化會降低最終模型權重的精確度(例如,降低到 4 位元),而無需從頭開始重新訓練。
GPTQ 量化時使用哪些資訊來補償舍入誤差?
GPTQ 使用近似 Hessian 矩陣來了解量化一個權重如何影響損失,然後調整剩餘權重進行補償。
哪些關鍵洞見推動了 AWQ(啟動感知權重量化)?
AWQ 使用激活幅度識別顯著權重通道,並透過縮放來保護它們,因為少數通道的重要性不成比例。
與 16 位元權重相比,4 位元量化大約可以節省多少記憶體?
每個權重從 16 位變為 4 位,將權重記憶體減少到大約四分之一,大約減少了 4 倍。
為什麼 GPTQ 和 AWQ 通常都會量化權重但保持激活精度更高?
權重是主要的記憶體成本,而活化對精確度損失更敏感,因此僅權重量化是常見的最佳點。