俳優と批評家のメソッドに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 俳優と批評家の方法において、「批評家」の役割は何でしょうか?
   • 状態 (またはアクション) の値を推定し、アクターの選択を評価するため
   • 実行するアクションを選択するには
   • リプレイバッファを保存するには
   • 環境をランダムに探索するには
2. 「利点」A(s,a) = Q(s,a) - V(s) は何を測定しますか?
   • 合計エピソード報酬
   • アクションが州の平均値よりどれだけ優れているか
   • 学習率
   • 利用可能なアクションの数
3. REINFORCE のような純粋なポリシー勾配手法と比較して、批評家を追加すると分散が減少するのはなぜですか?
   • 報酬を方程式から削除します
   • 政策が決定的になる
   • 批評家はベースラインを提供するため、更新ではノイズの少ないアドバンテージ信号が使用されます。
   • 割引率が上がります
4. Q-Learning のような単純な値ベースのメソッドが扱いにくいのに対し、Actor-Critic メソッドにはどのような機能がありますか?
   • 個別のアクション
   • 特典の利用
   • 未来を割り引く
   • 継続的なアクションスペース
5. 言語モデルの RLHF に広く使用されている Actor-Critic ベースのアルゴリズムは次のうちどれですか?
   • PPO (近接ポリシー最適化)
   • K 平均法
   • 線形回帰
   • Qラーニング
6. 攻撃者は通常、ポリシーを更新するためにどのようなシグナルを使用しますか?
   • 生のピクセル入力
   • 批評家が提供した利点または TD エラー
   • リプレイバッファサイズ
   • 固定の乱数
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline