引導式測驗 · 中等 等級
Q-學習測驗
檢查 Q 值、異策略學習 (off-policy learning)、貝爾曼更新 (Bellman updates)、探索、收斂假設,以及為何 Q-learning 是無模型的 (model-free)。
問題 1 的 8
Q值Q(s, a)代表什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Q值Q(s, a)代表什麼?
- 在狀態 s 中採取行動 a,然後採取最佳行動的預期長期回報
- 處於狀態 s 的機率
- 操作 a 已嘗試的次數
- 僅針對行動a的即時獎勵
- 為什麼 Q-Learning 被描述為「偏離策略」?
- 它需要環境模型
- 它可以在遵循不同的探索性策略的同時學習最優策略
- 它僅對儲存的資料離線工作
- 它完全忽略了獎勵
- 更新規則中,折扣因子gamma控制什麼?
- 探勘率
- 狀態表的大小
- 未來獎勵相對於當前獎勵的權重是多少
- 集數
- Q-Learning 中的時間差 (TD) 誤差是多少?
- 兩種狀態的區別
- 一集的總獎勵
- 學習率乘以gamma
- r + gamma*max Q(s',a') 減去目前 Q(s,a) 估計值
- 為什麼普通的表格 Q-Learning 難以解決像像素電玩遊戲這樣的大問題?
- 不同狀態的數量太大而無法儲存在表中
- 不能使用獎勵
- 它只適用於兩個動作
- 伽瑪值必須等於 1
- epsilon-greedy 動作選擇的目的是什麼?
- 始終選擇最高 Q 值的操作
- 平衡探索新行動與利用已知的好行動
- 設定折扣係數
- 儲存 Q 表
- 表格型 Q-learning 收斂結果中出現了什麼探索條件?
- 僅採樣貪婪動作
- 每個狀態必須恰好被訪問一次
- 在合適的學習條件下,每個狀態-動作對都必須被重複訪問
- 必須預先知道轉移模型
- 為什麼 Q-learning 被稱為無模型的?
- 它從不觀察環境
- 它不使用獎勵
- 它在學習前需要完整的轉移表
- 它透過採樣的獎勵和下一個狀態來更新數值,而無需儲存轉移機率