引导式测验 · 硬 等级

SmoothQuant 和激活量化测验

检查激活异常值、每通道尺度迁移、W8A8 表示法、离线折叠和 SmoothQuant 测试的推理权衡。

相关引导路径Smoothquant 和激活量化
问题 1 的 8

SmoothQuant在低精度推理中具体解决什么问题？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. SmoothQuant在低精度推理中具体解决什么问题？
    • 激活通道中的极端异常值
    • 权重太小而无法表示
    • 反向传播期间梯度消失
    • 令牌词汇量限制
  2. SmoothQuant 如何使激活更容易量化？
    • 它将所有激活限制在固定阈值以上
    • 它通过按比例缩小激活并按相同因子增加权重来迁移难度
    • 它以 8 位端到端重新训练模型
    • 它将激活仅转换为浮点
  3. W8A8 符号是什么意思？
    • 8 个权重层和 8 个注意力头
    • 权重衰减为 8，alpha 为 8
    • 8 位权重和 8 位激活
    • 8 个工作人员和 8 个加速器
  4. 为什么 SmoothQuant 的缩放基本上不会增加运行时开销？
    • 它在单独的专用 GPU 上运行
    • 它仅适用于训练期间，从不推理
    • 现代 CPU 忽略比例因子
    • 秤被离线吸收到相邻的权重或融合操作中
  5. alpha 超参数在 SmoothQuant 中起什么作用？
    • 它控制有多少异常值负担从激活转移到权重
    • 它设置微调的学习率
    • 它决定量化位数
    • 它选择要修剪的注意力头
  6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
    • A guaranteed 10× speedup on every GPU
    • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
    • No runtime or memory benefit
    • A 50% accuracy drop in every tested model
  7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
    • The output is rounded to the nearest class
    • The model replaces multiplication with addition
    • The reciprocal scale factors cancel in the activation-weight multiplication
    • The weights are set to zero after scaling
  8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
    • It removes the model’s weight matrices
    • It turns W8A8 into W16A16
    • It eliminates all quantization error
    • It shifts more scaling burden away from activations and onto weights