引導式測驗 · 中等 等級

離線強化學習測驗

探索固定資料集強化學習、分佈轉移以及代表性保守和序列建模方法。

相關引導路徑離線強化學習
問題 1 的 8

離線(批量)強化學習的定義是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 離線(批量)強化學習的定義是什麼?
    • 從固定資料集學習,無需新環境交互
    • 僅透過不斷的現場探索來學習
    • 沒有任何獎勵訊號的訓練
    • 無需任何模型即可運行推理
  2. 離線強化學習的核心技術挑戰是什麼?
    • 缺少任何數據
    • 分佈變化與分佈外行為的高估
    • 過度的線上探索
    • 網路參數太少
  3. D4RL 為評估離線強化學習算法的研究人員提供了什麼?
    • A guarantee that an offline policy is safe to deploy
    • A new optimizer that removes the need for logged data
    • A benchmark suite of datasets and tasks for offline RL evaluation
    • A dataset containing only online interactions collected by each test policy
  4. 保守 Q 學習 (CQL) 如何對抗高估?
    • 透過誇大看不見的行為的價值
    • 完全取消獎勵
    • 透過在現實世界中進行更多探索
    • 透過將 Q 值正則化,以應對分佈外的行為
  5. Decision Transformer 如何重建離線強化學習?
    • 作為序列建模,預測以期望回報為條件的行動
    • 作為狀態的聚集
    • 作為純隨機搜尋
    • 作為監督圖像分類
  6. 為什麼標準在線強化學習演算法不能直接離線使用?
    • 他們沒有神經網絡
    • 他們無法收集修正數據來修復價值高估
    • 他們從不使用獎勵
    • 他們不需要任何政策
  7. How does BCQ reduce reliance on actions absent from an offline dataset?
    • It adds random actions to every training transition
    • It assumes every action has been observed equally often
    • It constrains candidate actions to stay near actions the dataset supports
    • It removes the action-value function and reward
  8. What value-learning method is central to the cited Implicit Q-Learning paper?
    • Maximum-likelihood fitting of a language tokenizer
    • Uniform regression over actions sampled from a live environment
    • A supervised image-classification loss
    • Expectile regression over values associated with dataset actions