逆强化学习测验

当您参加测验时，就会出现答案和解释。

1. 逆强化学习的目的是恢复什么？
   • 解释观察到的专家行为的奖励函数
   • 更快的梯度下降优化器
   • 演示的压缩版本
   • 带标签的图像数据集
2. 为什么 IRL 问题被描述为不适定或不明确的？
   • 因为演示总是完美的最佳结果
   • 因为许多不同的奖励函数可以解释相同的行为
   • 因为奖励一定总是负数
   • 因为它不需要专家数据
3. 与行为克隆相比，恢复奖励有什么关键优势？
   • 不需要演示
   • 它总是以恒定的时间运行
   • 它抓住了根本目标，并推广到未见过的状态
   • 它避免使用任何策略
4. 最大熵 IRL 如何解决奖励模糊性？
   • 强制所有奖励均等
   • 完全忽略次优轨迹
   • 通过删除奖励函数
   • 通过将轨迹概率建模为总奖励的指数
5. IRL 恢复奖励函数后，接下来通常会做什么？
   • 标准强化学习从奖励中得出策略
   • 奖励被丢弃
   • 为了节省空间，删除了演示
   • 代理停止学习
6. IRL 在什么场景下特别有用？
   • 当奖励已经完全已知时
   • 当您想要理解并概括专家行为背后的目标时
   • 当不存在行为数据时
   • 当你只需要记住固定动作时
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward