引導式測驗 · 中等 等級

Q-學習測驗

檢查 Q 值、異策略學習 (off-policy learning)、貝爾曼更新 (Bellman updates)、探索、收斂假設,以及為何 Q-learning 是無模型的 (model-free)。

相關引導路徑問學習
問題 1 的 8

Q值Q(s, a)代表什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Q值Q(s, a)代表什麼?
    • 在狀態 s 中採取行動 a,然後採取最佳行動的預期長期回報
    • 處於狀態 s 的機率
    • 操作 a 已嘗試的次數
    • 僅針對行動a的即時獎勵
  2. 為什麼 Q-Learning 被描述為「偏離策略」?
    • 它需要環境模型
    • 它可以在遵循不同的探索性策略的同時學習最優策略
    • 它僅對儲存的資料離線工作
    • 它完全忽略了獎勵
  3. 更新規則中,折扣因子gamma控制什麼?
    • 探勘率
    • 狀態表的大小
    • 未來獎勵相對於當前獎勵的權重是多少
    • 集數
  4. Q-Learning 中的時間差 (TD) 誤差是多少?
    • 兩種狀態的區別
    • 一集的總獎勵
    • 學習率乘以gamma
    • r + gamma*max Q(s',a') 減去目前 Q(s,a) 估計值
  5. 為什麼普通的表格 Q-Learning 難以解決像像素電玩遊戲這樣的大問題?
    • 不同狀態的數量太大而無法儲存在表中
    • 不能使用獎勵
    • 它只適用於兩個動作
    • 伽瑪值必須等於 1
  6. epsilon-greedy 動作選擇的目的是什麼?
    • 始終選擇最高 Q 值的操作
    • 平衡探索新行動與利用已知的好行動
    • 設定折扣係數
    • 儲存 Q 表
  7. 表格型 Q-learning 收斂結果中出現了什麼探索條件?
    • 僅採樣貪婪動作
    • 每個狀態必須恰好被訪問一次
    • 在合適的學習條件下,每個狀態-動作對都必須被重複訪問
    • 必須預先知道轉移模型
  8. 為什麼 Q-learning 被稱為無模型的?
    • 它從不觀察環境
    • 它不使用獎勵
    • 它在學習前需要完整的轉移表
    • 它透過採樣的獎勵和下一個狀態來更新數值,而無需儲存轉移機率