引導式測驗 · 中等 等級
離線強化學習測驗
探索固定資料集強化學習、分佈轉移以及代表性保守和序列建模方法。
問題 1 的 8
離線(批量)強化學習的定義是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 離線(批量)強化學習的定義是什麼?
- 從固定資料集學習,無需新環境交互
- 僅透過不斷的現場探索來學習
- 沒有任何獎勵訊號的訓練
- 無需任何模型即可運行推理
- 離線強化學習的核心技術挑戰是什麼?
- 缺少任何數據
- 分佈變化與分佈外行為的高估
- 過度的線上探索
- 網路參數太少
- D4RL 為評估離線強化學習算法的研究人員提供了什麼?
- A guarantee that an offline policy is safe to deploy
- A new optimizer that removes the need for logged data
- A benchmark suite of datasets and tasks for offline RL evaluation
- A dataset containing only online interactions collected by each test policy
- 保守 Q 學習 (CQL) 如何對抗高估?
- 透過誇大看不見的行為的價值
- 完全取消獎勵
- 透過在現實世界中進行更多探索
- 透過將 Q 值正則化,以應對分佈外的行為
- Decision Transformer 如何重建離線強化學習?
- 作為序列建模,預測以期望回報為條件的行動
- 作為狀態的聚集
- 作為純隨機搜尋
- 作為監督圖像分類
- 為什麼標準在線強化學習演算法不能直接離線使用?
- 他們沒有神經網絡
- 他們無法收集修正數據來修復價值高估
- 他們從不使用獎勵
- 他們不需要任何政策
- How does BCQ reduce reliance on actions absent from an offline dataset?
- It adds random actions to every training transition
- It assumes every action has been observed equally often
- It constrains candidate actions to stay near actions the dataset supports
- It removes the action-value function and reward
- What value-learning method is central to the cited Implicit Q-Learning paper?
- Maximum-likelihood fitting of a language tokenizer
- Uniform regression over actions sampled from a live environment
- A supervised image-classification loss
- Expectile regression over values associated with dataset actions