Qラーニングクイズ

クイズに答えると、答えと解説が表示されます。

1. Q 値 Q(s, a) は何を表しますか?
   • 状態 s でアクションを実行し、その後最適に動作することで期待される長期的な報酬
   • 状態 s になる確率
   • アクション a が試行された回数
   • 行動に対する即時報酬のみ
2. Q-Learning が「ポリシー外」と言われているのはなぜですか?
   • 環境のモデルが必要です
   • 別の探索的なポリシーに従いながら、最適なポリシーを学習できます
   • 保存されたデータに対してのみオフラインで動作します
   • 報酬を完全に無視する
3. 更新ルールでは、割引係数ガンマは何を制御しますか?
   • 探索率
   • 状態テーブルのサイズ
   • 将来の報酬が当面の報酬と比べてどれだけ重み付けされるか
   • 話数
4. Q ラーニングにおける時間差 (TD) 誤差とは何ですか?
   • 2 つの状態の違い
   • エピソードの合計報酬
   • 学習率とガンマの積
   • r + gamma*max Q(s',a') から現在の Q(s,a) 推定値を引いた値
5. 単純な表形式の Q ラーニングが、ピクセルからのビデオ ゲームのような大きな問題に苦戦するのはなぜですか?
   • 個別の状態の数が多すぎてテーブルに保存できません
   • 特典は使用できません
   • 2つのアクションでのみ機能します
   • ガンマは 1 に等しくなければなりません
6. イプシロン貪欲なアクション選択の目的は何ですか?
   • 常に最も高い Q 値のアクションを選択するには
   • 新しいアクションの探索と既知の優れたアクションの活用のバランスを取るため
   • 割引率を設定するには
   • Qテーブルを保存するには
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities