引导式测验 · 中等 等级

离线强化学习测验

探索固定数据集强化学习、分布转移以及代表性保守和序列建模方法。

相关引导路径离线强化学习
问题 1 的 8

离线（批量）强化学习的定义是什么？

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 离线（批量）强化学习的定义是什么？
    • 从固定数据集学习，无需新环境交互
    • 仅通过不断的现场探索来学习
    • 没有任何奖励信号的训练
    • 无需任何模型即可运行推理
  2. 离线强化学习的核心技术挑战是什么？
    • 缺少任何数据
    • 分布变化和分布外行为的高估
    • 过度的在线探索
    • 网络参数太少
  3. D4RL 为评估离线强化学习算法的研究人员提供了什么？
    • A guarantee that an offline policy is safe to deploy
    • A new optimizer that removes the need for logged data
    • A benchmark suite of datasets and tasks for offline RL evaluation
    • A dataset containing only online interactions collected by each test policy
  4. 保守 Q 学习 (CQL) 如何对抗高估？
    • 通过夸大看不见的行为的价值
    • 完全取消奖励
    • 通过在现实世界中进行更多探索
    • 通过将 Q 值正则化，以应对分布外的行为
  5. Decision Transformer 如何重构离线强化学习？
    • 作为序列建模，预测以期望回报为条件的行动
    • 作为状态的聚集
    • 作为纯随机搜索
    • 作为监督图像分类
  6. 为什么标准在线强化学习算法不能直接离线使用？
    • 他们没有神经网络
    • 他们无法收集纠正数据来修复价值高估
    • 他们从不使用奖励
    • 他们不需要任何政策
  7. How does BCQ reduce reliance on actions absent from an offline dataset?
    • It adds random actions to every training transition
    • It assumes every action has been observed equally often
    • It constrains candidate actions to stay near actions the dataset supports
    • It removes the action-value function and reward
  8. What value-learning method is central to the cited Implicit Q-Learning paper?
    • Maximum-likelihood fitting of a language tokenizer
    • Uniform regression over actions sampled from a live environment
    • A supervised image-classification loss
    • Expectile regression over values associated with dataset actions