引导式测验 · 中等 等级
LoRA 和参数高效调优测验
查看冻结的 LoRA 权重、可训练状态节省、排名、QLoRA 存储、兼容合并、共享基数、参数计数和双量化。
问题 1 的 8
在所选权重矩阵的原始 LoRA 公式中，当该矩阵保持冻结状态时会学到什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 在所选权重矩阵的原始 LoRA 公式中，当该矩阵保持冻结状态时会学到什么？
- 没有权重更新的替换词汇
- 随机初始化的完整基矩阵的每个条目
- 形成加性低秩更新的两个因子矩阵
- 永久删除整个选定图层
- 与完全微调相比，更少的可训练 LoRA 参数可以减少哪些资源需求？
- 根据定义，每个基本模型计算
- 无论训练过程如何，所有激活存储
- 总运行时内存的保证通用百分比
- 优化器状态和任务检查点要求
- LoRA 适配器中的“r”等级控制什么？
- 两个低秩矩阵的内部维度，设置适配器容量
- 基础模型的层数
- 训练期间的学习率
- 需要多少个 GPU
- QLoRA 论文中结合了哪些存储和适应选择？
- 将每个基本权重直接更新为 4 位整数梯度
- 带有可训练 LoRA 适配器的冷冻低位底座
- 删除所有适配器和所有任务数据
- 保证每个型号都适合每个消费级 GPU
- LoRA 更新的兼容密集合并可以从该层的推理计算中删除什么？
- 完全需要评估基础层
- 每个可能的数据类型兼容性要求
- 要求所有未来的任务更新都变得相同
- 需要评估单独的适配器分支
- 通过与基本检查点分开存储兼容的任务适配器来支持哪种重用模式？
- 每个适配器都会自动使每个任务事实上正确
- 所有服务系统必须以零开销切换任务
- 多个任务更新可以共享相同的预训练库
- 推理不再需要基础检查点
- 对于规定的 4×4 权重更新，其中排名一因子的形状为 4×1 和 1×4，有多少个因子参数？
- 十六
- 八
- 四
- 三十二
- 除了基本权重表示之外，QLoRA 的双量化技术还压缩什么？
- 量化常数
- 每个任务都标记为第二个不相关的类别
- 根据定义，适配器渐变两次
- 基本模型的第二个完整副本