引導式測驗 · 中等 等級
演員批評者方法測驗
檢查參與者和批評者的角色、優勢和 TD 訊號、變異數減少、連續動作和 PPO 範例。在現代實踐中。
問題 1 的 8
在 Actor-Critic 方法中,「批評家」的角色是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在 Actor-Critic 方法中,「批評家」的角色是什麼?
- 估計狀態(或動作)的價值並評估參與者的選擇
- 選擇要執行的操作
- 儲存重播緩衝區
- 隨機探索環境
- 「優勢」A(s,a) = Q(s,a) - V(s) 衡量什麼?
- 總劇集獎勵
- 一項行動比州的平均值好多少
- 學習率
- 可用的操作數量
- 與 REINFORCE 等純策略梯度方法相比,為什麼添加批評者可以減少變異數?
- 它從等式中刪除了獎勵
- 它使政策具有確定性
- 評論家提供了基線,因此更新使用噪音較小的優勢訊號
- 它增加了折扣係數
- Actor-Critic 方法具有哪些功能,而像 Q-Learning 這樣的基於值的普通方法則難以處理?
- 離散行動
- 使用獎勵
- 折扣未來
- 連續行動空間
- 下列哪一項是廣泛用於語言模型上的 RLHF 的基於 Actor-Critic 的演算法?
- PPO(近端策略優化)
- K-均值
- 線性迴歸
- Q-學習
- 參與者通常使用什麼訊號來更新其策略?
- 原始像素輸入
- 批評者提供的優點或 TD 誤差
- 重播緩衝區大小
- 固定隨機數
- An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
- Decrease its probability in every state
- Set the critic’s value estimate to zero
- Increase the probability of choosing that action in the state
- Replace the policy with a Q-table
- An action’s estimated advantage is negative. What direction should the actor update favor?
- Increase it because the critic was surprised
- Delete the state from the environment
- Raise the reward discount factor automatically
- Reduce the likelihood of that action relative to the policy baseline