引導式測驗 · 中等 等級

演員批評者方法測驗

檢查參與者和批評者的角色、優勢和 TD 訊號、變異數減少、連續動作和 PPO 範例。在現代實踐中。

相關引導路徑演員批評家方法
問題 1 的 8

在 Actor-Critic 方法中,「批評家」的角色是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在 Actor-Critic 方法中,「批評家」的角色是什麼?
    • 估計狀態(或動作)的價值並評估參與者的選擇
    • 選擇要執行的操作
    • 儲存重播緩衝區
    • 隨機探索環境
  2. 「優勢」A(s,a) = Q(s,a) - V(s) 衡量什麼?
    • 總劇集獎勵
    • 一項行動比州的平均值好多少
    • 學習率
    • 可用的操作數量
  3. 與 REINFORCE 等純策略梯度方法相比,為什麼添加批評者可以減少變異數?
    • 它從等式中刪除了獎勵
    • 它使政策具有確定性
    • 評論家提供了基線,因此更新使用噪音較小的優勢訊號
    • 它增加了折扣係數
  4. Actor-Critic 方法具有哪些功能,而像 Q-Learning 這樣的基於值的普通方法則難以處理?
    • 離散行動
    • 使用獎勵
    • 折扣未來
    • 連續行動空間
  5. 下列哪一項是廣泛用於語言模型上的 RLHF 的基於 Actor-Critic 的演算法?
    • PPO(近端策略優化)
    • K-均值
    • 線性迴歸
    • Q-學習
  6. 參與者通常使用什麼訊號來更新其策略?
    • 原始像素輸入
    • 批評者提供的優點或 TD 誤差
    • 重播緩衝區大小
    • 固定隨機數
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline