引导式测验 · 硬 等级

LoRA 专家混合测验

检查 LoRA 的低等级更新、专家门控、冻结基本权重、可组合技能和混合适配器的每层路由。

相关引导路径劳拉专家的混合体
问题 1 的 8

Mixture of LoRA Experts 中的“LoRA”部分指的是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. Mixture of LoRA Experts 中的“LoRA”部分指的是什么？
    • 低秩适应，训练小的低秩矩阵而不是全权重
    • 强化学习奖励模型
    • 长程注意力机制
    • 适配器的数据加载管道
  2. MoLE 中的门控/路由器网络的作用是什么？
    • 压缩基本模型权重
    • 决定激活哪些专家以及给定输入的权重
    • 为适配器生成训练数据
    • 将文本转换为嵌入
  3. 为什么 MoLE 通常比在许多混合任务上训练一个适配器更好？
    • 它在设计上使用更多的 GPU 内存
    • 它消除了对任何基础模型的需要
    • 通过将技能保留在单独的可组合专家中，可以减少干扰和遗忘
    • 它仅适用于单一语言
  4. 在LoRA中，权重更新通常表示为以下哪一项？
    • 替换 W 的全稠密矩阵
    • W 上的单个标量乘法器
    • 每一步添加一个随机噪声矩阵
    • 两个低秩矩阵 B 乘以 A 的乘积
  5. 在 MoLE 训练期间，基本模型的预训练权重通常会发生什么情况？
    • 当仅训练适配器和路由器时，它们保持冻结状态
    • 他们从头开始接受全面的再培训
    • 它们被删除并重建
    • 它们被量化为一位
  6. 在扩散图像模型中，MoLE 中的分层/每层门控有助于解决什么问题？
    • 互联网下载速度慢
    • 多个概念 LoRA 在组合时相互压倒
    • 缺乏训练数据
    • 文件格式不正确
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update