引导式测验 · 中等 等级

模型量化测验

应用量化存储、缩放因子和准确性权衡，包括为什么原始重量减少不能保证完整的模型拟合或速度。

相关引导路径模型量化
问题 1 的 8

Quantizing a model mainly reduces what?

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. Quantizing a model mainly reduces what?
    • 用于存储权重和激活的数值精度
    • 网络的层数
    • 构建模型所依据的训练数据集
    • 模型可以理解的语言
  2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
    • The payload is unchanged
    • It is one hundredth of the original payload
    • The four-bit payload is one quarter of the sixteen-bit payload
    • The payload becomes four times larger
  3. 激进的低位量化的主要缺点是什么？
    • 模型忘记了它的训练语言
    • 由于值被压缩到更少的桶中，因此可能会损失准确性
    • 它只能在超级计算机上运行
    • 它会永久删除图层
  4. 量化感知训练与训练后量化有何不同？
    • 它根本不需要任何数据
    • 它仅适用于图像
    • 它随着时间的推移增加位数
    • 它在训练期间模拟舍入，以便模型学会容忍低精度
  5. 哪种技术使用 4 位量化来在一个 GPU 上实现大型模型的微调？
    • 辍学
    • 批量归一化
    • QLoRA
    • 代币化
  6. 为什么每通道或每组缩放有助于量化模型？
    • 它将单独的比例因子分配给权重矩阵的切片以保持精度
    • 它消除了对任何重量的需要
    • 它使模型更大
    • 它将文本转换为音频
  7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
    • Every four-bit weight expands permanently to a gigabyte
    • Quantization guarantees no runtime allocations
    • Only the model’s filename consumes the remaining memory
    • Caches, scales, unquantized tensors, or workspace need additional memory
  8. A team quantizes to INT8 but sees no inference speedup. What should it check?
    • Whether the training data are alphabetized
    • Whether the workload uses efficient supported kernels on its hardware
    • Whether lower bit width always guarantees faster execution
    • Whether the model must have changed languages