強化学習クイズ

クイズに答えると、答えと解説が表示されます。

1. 倉庫用ロボットが、配送時間の短縮につながるかどうかを確認するために、慣れない通路を試しています。これは探索と活用のトレードオフのどちらに該当しますか？
   • 探索：価値が不確実なアクションを試すこと
   • 活用：現在最も価値が高いとされているアクションを選択すること
   • 報酬シェイピング：行動後に目的を変更すること
   • 模倣：ラベル付けされたアクションをコピーすること
2. 3ステップのエピソードで、報酬が2、0、5と得られました。割引率が0.9の場合、最初のステップからの収益（リターン）はいくらですか？
   • 7
   • 6.05
   • 6.5
   • 4.05
3. 設計者が割引収益目的のガンマ（gamma）を上げた場合、何が変わりますか？
   • エージェントが探索を停止する
   • 報酬関数が確率分布になる
   • 即時の報酬と比較して、将来の報酬がより重視されるようになる
   • 過去の報酬が再度カウントされる
4. ポリシーが長いアクションシーケンスの後にのみ報酬を受け取る場合、どのようなクレジット割り当ての問題が生じますか？
   • どの入力列の名前が最も長いですか？
   • すべてのアクションが同じ報酬を受け取らなければならないかどうか
   • 最終的な報酬がそれ以前のすべての観測を消去するかどうか
   • どのアクションが最終的な結果に貢献したか
5. ゲームエージェントが、無害なボーナスを集めてポイントを獲得した後、そのボーナスが繰り返しやすいためにミッションを無視するようになりました。これはどのような失敗を示していますか？
   • 報酬ハッキング：意図した目標を達成できない方法でプロキシ報酬を最適化すること
   • 壊滅的な忘却
   • ガンマによる探索の崩壊
   • 遷移モデルの誤差
6. ロボットのポリシーがシミュレーションではうまく機能しています。なぜ、意図した実際の展開に向けて評価が必要なのでしょうか？
   • シミュレーションの成功は、すべての現実世界のアクションが安全であることを証明するから
   • シミュレーターは、シミュレーター外では機能しない前提に依存している可能性があるから
   • シミュレーションはすべての報酬の抜け穴を防ぐから
   • 実際の観測は常にシミュレーションされた観測と一致するから
7. 配達タスクでは報酬が先送りされます。今遠回りすることで、将来の大きな遅延を防げるかもしれません。なぜ1ステップの報酬の視点では、このトレードオフが見落とされてしまうのでしょうか？
   • すべての行動がランダムであると仮定しているため
   • 観測を表現できないため
   • 後続の状態でもたらされる結果を無視しているため
   • 報酬が必ず正の値になると強制するため
8. チームが報酬を「安全に配達する」から「素早く配達する」に変更したところ、処理は速くなったもののリスクの高い行動が見られるようになりました。ここから何を結論付けるべきでしょうか？
   • より高速なポリシーは、元の安全目標が達成されたことを証明している
   • 割引率単体で安全な行動が保証される
   • トレーニングが収束すれば人間の好みは不要になる
   • 報酬の設計は行動に影響を与えるため、安全性は明示的に表現され、評価されなければならない