引導式測驗 · 硬 等級

SmoothQuant 和激活量化測驗

檢查激活異常值、每通道尺度遷移、W8A8 表示法、離線折疊和 SmoothQuant 測試的推理權衡。

相關引導路徑Smoothquant 與活化量化
問題 1 的 8

SmoothQuant在低精度推理中具體解決什麼問題?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. SmoothQuant在低精度推理中具體解決什麼問題?
    • 激活通道中的極端異常值
    • 權重太小而無法表示
    • 反向傳播期間梯度消失
    • 令牌詞彙量限制
  2. SmoothQuant 如何讓活化更容易量化?
    • 它將所有激活限制在固定閾值以上
    • 它透過按比例縮小激活並按相同因子增加權重來遷移難度
    • 它以 8 位元端對端重新訓練模型
    • 它將啟動僅轉換為浮點
  3. W8A8 符號是什麼意思?
    • 8 個重量層和 8 個注意力頭
    • 權重衰減為 8,alpha 為 8
    • 8 位權重和 8 位激活
    • 8 個工作人員和 8 個加速器
  4. 為什麼 SmoothQuant 的縮放基本上不會增加運行時開銷?
    • 它在單獨的專用 GPU 上運行
    • 它僅適用於訓練期間,從不推理
    • 現代 CPU 忽略比例因子
    • 秤被離線吸收到相鄰的權重或融合操作中
  5. alpha 超參數在 SmoothQuant 中扮演什麼角色?
    • 它控制有多少異常值負擔從激活轉移到權重
    • 它設定微調的學習率
    • 它決定量化位數
    • 它選擇要修剪的注意力頭
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights