引导式测验 · 硬 等级
1 位和三元 BitNet 模型测验
检查三元权重、1.58 位计算、低位矩阵运算、直通训练和硬件权衡。
问题 1 的 8
为什么 BitNet b1.58 被描述为每个权重使用大约 1.58 位？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 为什么 BitNet b1.58 被描述为每个权重使用大约 1.58 位？
- 因为每个权重都有三个可能的值（-1、0、+1）并且 log2(3) 约为 1.58
- 因为它四舍五入为 2 位
- 因为它使用 1.58 GB 内存
- 因为1.58是1和2位的平均值
- 是什么让 BitNet 的矩阵运算比标准模型更便宜？
- 他们跳过注意力机制
- -1、0、+1 的权重将乘法转化为加法和减法
- 他们使用的词汇量较小
- 它们仅在 TPU 上运行
- BitNet 和普通训练后量化之间的一个关键区别在于 BitNet：
- 仅在训练完成后进行量化
- 根本无法训练
- 使用低位权重从头开始训练
- 内部使用 32 位权重
- 在训练过程中，尽管量化步骤不可微，但 BitNet 如何更新权重？
- 它冻结了所有重量
- 它的训练没有梯度
- 它仅使用强化学习
- 它使用具有更高精度阴影权重的直通估计器
- 允许值 0（三进制，非纯二进制）能带来什么额外好处？
- 内置稀疏性，因为可以跳过归零权重
- 比浮点精度更高
- 更快的互联网连接
- 词汇量更大
- 实现 BitNet 全面效率提升的主要硬件挑战是什么？
- 世界上已经没有 GPU 了
- 目前大多数芯片都针对浮点数学进行了优化，而不是仅针对加法三元运算
- 三元模型需要量子计算机
- 模型太小，无关紧要
- If a BitNet weight is zero, what does it contribute to a dot product?
- It multiplies the activation by negative one
- It adds a full-precision matrix multiply
- It contributes zero and can potentially be skipped by suitable hardware
- It changes the number of model layers
- Why are higher-precision shadow weights retained during BitNet training?
- To perform inference with full-precision weights only
- To store the tokenizer vocabulary
- To replace the straight-through estimator with exact gradients
- To maintain trainable values for gradient updates despite low-bit forward quantization