引導式測驗 · 中等 等級

GPTQ 和 AWQ 訓練後量化測驗

檢查 GPTQ 和 AWQ、校準資料、曲率補償、啟動感知通道和低位元記憶體之間的差異。

問題 1 的 8

「訓練後量化」是什麼意思?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 「訓練後量化」是什麼意思?
    • 將已訓練模型的權重壓縮到較低的精度,而無需完全重新訓練
    • 完全以低精度重新訓練模型
    • 部署後新增更多訓練數據
    • 增加模型的參數數量
  2. GPTQ 量化時使用哪些資訊來補償舍入誤差?
    • 模型的詞彙表
    • 來自校準資料集的二階(Hessian/曲率)信息
    • 使用者的提示歷史記錄
    • 隨機噪音
  3. 哪些關鍵洞見推動了 AWQ(啟動感知權重量化)?
    • 所有權重都同等重要
    • 活化應該被量化,但權重不變
    • 一小部分權重通道特別重要,應該受到保護
    • 量化應該只在預訓練期間發生
  4. 與 16 位元權重相比,4 位元量化大約可以節省多少記憶體?
    • 沒有積蓄
    • 內存大約翻倍
    • 正好是記憶體的一半
    • 大約四分之一的記憶體(減少 4 倍)
  5. 為什麼 GPTQ 和 AWQ 通常都會量化權重但保持激活精度更高?
    • 權重主導內存,激進的激活量化往往更損害準確性
    • Transformer 中不存在激活
    • 啟動已經是 1 位
    • 這是法律規定的
  6. 哪種工具通常用於在消費性硬體上本地運行量化模型?
    • Microsoft 字
    • 駱駝.cpp
    • 試算表程式
    • 單獨的網頁瀏覽器
  7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
    • It adds new training labels to the model
    • It selects a new tokenizer vocabulary
    • It estimates second-order information to compensate for rounding errors
    • It measures only GPU temperature
  8. How does AWQ identify which weight channels deserve protection?
    • It computes a full Hessian inverse
    • It adds random noise to all weights
    • It selects channels only by their index
    • It uses activation magnitudes to identify channels important to preserve