引導式測驗 · 硬 等級
SmoothQuant 和激活量化測驗
檢查激活異常值、每通道尺度遷移、W8A8 表示法、離線折疊和 SmoothQuant 測試的推理權衡。
問題 1 的 8
SmoothQuant在低精度推理中具體解決什麼問題?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- SmoothQuant在低精度推理中具體解決什麼問題?
- 激活通道中的極端異常值
- 權重太小而無法表示
- 反向傳播期間梯度消失
- 令牌詞彙量限制
- SmoothQuant 如何讓活化更容易量化?
- 它將所有激活限制在固定閾值以上
- 它透過按比例縮小激活並按相同因子增加權重來遷移難度
- 它以 8 位元端對端重新訓練模型
- 它將啟動僅轉換為浮點
- W8A8 符號是什麼意思?
- 8 個重量層和 8 個注意力頭
- 權重衰減為 8,alpha 為 8
- 8 位權重和 8 位激活
- 8 個工作人員和 8 個加速器
- 為什麼 SmoothQuant 的縮放基本上不會增加運行時開銷?
- 它在單獨的專用 GPU 上運行
- 它僅適用於訓練期間,從不推理
- 現代 CPU 忽略比例因子
- 秤被離線吸收到相鄰的權重或融合操作中
- alpha 超參數在 SmoothQuant 中扮演什麼角色?
- 它控制有多少異常值負擔從激活轉移到權重
- 它設定微調的學習率
- 它決定量化位數
- 它選擇要修剪的注意力頭
- What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
- A guaranteed 10× speedup on every GPU
- About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
- No runtime or memory benefit
- A 50% accuracy drop in every tested model
- Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
- The output is rounded to the nearest class
- The model replaces multiplication with addition
- The reciprocal scale factors cancel in the activation-weight multiplication
- The weights are set to zero after scaling
- In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
- It removes the model’s weight matrices
- It turns W8A8 into W16A16
- It eliminates all quantization error
- It shifts more scaling burden away from activations and onto weights