逆強化学習クイズ

クイズに答えると、答えと解説が表示されます。

1. 逆強化学習は何を回復することを目的としていますか?
   • 観察された専門家の行動を説明する報酬関数
   • 勾配降下法のためのより高速なオプティマイザ
   • デモの圧縮バージョン
   • ラベル付き画像データセット
2. IRL 問題が不適切または曖昧であると表現されるのはなぜですか?
   • デモンストレーションは常に完璧に最適であるため、
   • 多くの異なる報酬関数で同じ行動を説明できるため
   • 報酬は常にマイナスでなければならないため
   • 専門家のデータを必要としないため
3. 報酬を回収することには、行動の複製に比べてどのような重要な利点がありますか?
   • デモンストレーションは必要ありません
   • 常に一定時間で実行されます
   • 根底にある目標を捉え、目に見えない状態にまで一般化する
   • ポリシーの使用を回避します
4. 最大エントロピー IRL は報酬の曖昧さをどのように解決するのでしょうか?
   • すべての報酬を強制的に平等にすることによって
   • 最適ではない軌道を完全に無視することによって
   • 報酬関数を削除することで
   • 軌道確率を総報酬の指数関数としてモデル化することにより
5. IRL が報酬関数を回復した後、通常、次に何が行われますか?
   • 標準的な強化学習では、その報酬からポリシーを導き出します。
   • 報酬は破棄される
   • スペースを節約するためにデモは削除されています
   • エージェントが学習を停止する
6. IRL はどのシナリオで特に役立ちますか?
   • 報酬がすでに完全にわかっている場合
   • 専門家の行動の背後にある目標を理解し、一般化したい場合
   • 行動データが存在しない場合
   • 決まった動作だけを覚えたい場合
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward