引导式测验 · 中等 等级

模仿学习测验

检查行为克隆、分布转移、专家演示、DAgger 的数据聚合以及观察状态之外的限制。

相关引导路径模仿学习
问题 1 的 8

在模仿学习中，代理如何获得其行为？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 在模仿学习中，代理如何获得其行为？
    • 通过模仿专家演示来学习政策
    • 通过随机探索最大化手工设计的奖励
    • 压缩神经网络以在小型设备上运行
    • 根据文本提示生成图像
  2. 行为克隆将模仿学习视为哪类问题？
    • 无监督聚类
    • 状态到动作映射的监督学习
    • 对抗一代
    • 奖励塑造
  3. 什么问题导致行为克隆在长动作序列上失败？
    • 奖励函数过度拟合
    • 编码器中梯度消失
    • 分布偏移造成的复合误差
    • 旧课程的灾难性遗忘
  4. DAgger 算法如何解决这个弱点？
    • 通过将专家完全从循环中移除
    • 通过增加折扣系数
    • 通过向所有动作添加随机噪声
    • 通过向专家询问学习者实际访问的状态并聚合该数据
  5. 为什么对于驾驶等任务，模仿学习通常比强化学习更受青睐？
    • 演示比正确的奖励函数更容易提供
    • 它保证了最佳行为
    • 它永远不需要任何数据
    • 仅在推理时运行得更快
  6. What is a realistic limitation of behavioral cloning when the agent reaches states outside the demonstrations?
    • It is guaranteed to improve beyond the expert
    • Its behavior is not guaranteed there because those states may be out of distribution
    • It can only produce random actions
    • It automatically queries an expert at every step
  7. In one DAgger iteration, what does the learner do before requesting expert labels?
    • Deletes all earlier demonstrations
    • Trains only on randomly generated labels
    • Rolls out its current policy and records the states it actually visits
    • Replaces the expert policy permanently
  8. After the expert labels the states visited by the current policy, what happens to that data?
    • It is used only as an evaluation metric
    • It replaces the original observation space
    • It is discarded after one gradient step
    • It is aggregated with previous labeled data for retraining