引导式测验 · 中等 等级
Q-学习测验
检查 Q 值、离策略学习、贝尔曼更新、探索、收敛假设以及为什么 Q 学习是无模型的。
问题 1 的 8
Q值Q(s, a)代表什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- Q值Q(s, a)代表什么？
- 在状态 s 中采取行动 a，然后采取最佳行动的预期长期回报
- 处于状态 s 的概率
- 操作 a 已尝试的次数
- 仅针对行动a的即时奖励
- 为什么 Q-Learning 被描述为“偏离策略”？
- 它需要环境模型
- 它可以在遵循不同的探索性策略的同时学习最优策略
- 它仅对存储的数据离线工作
- 它完全忽略了奖励
- 更新规则中，折扣因子gamma控制什么？
- 勘探率
- 状态表的大小
- 未来奖励相对于当前奖励的权重是多少
- 集数
- Q-Learning 中的时间差 (TD) 误差是多少？
- 两种状态的区别
- 一集的总奖励
- 学习率乘以gamma
- r + gamma*max Q(s',a') 减去当前 Q(s,a) 估计值
- 为什么普通的表格 Q-Learning 难以解决像像素视频游戏这样的大问题？
- 不同状态的数量太大而无法存储在表中
- 不能使用奖励
- 它只适用于两个动作
- 伽玛值必须等于 1
- epsilon-greedy 动作选择的目的是什么？
- 始终选择最高 Q 值的操作
- 平衡探索新行动与利用已知的好行动
- 设置折扣系数
- 存储 Q 表
- 表格 Q 学习收敛结果中出现什么探索条件？
- 仅对贪婪行为进行采样
- 每个状态必须被访问一次
- 每个状态-动作对必须在适当的学习条件下重复访问
- 必须提前知道过渡模型
- 为什么 Q-learning 被称为无模型？
- 它从不观察环境
- 它不使用奖励
- 学习之前需要有完整的转换表
- 它更新采样奖励和下一个状态的值，而不存储转移概率