Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Offline megerősítési tanulási kvíz

Explore fixed-dataset reinforcement learning, distribution shift, and representative conservative and sequence-modeling methods.

Kapcsolódó útmutató utakOffline megerősítéses tanulás
kérdés 1 -ból 8

Mi határozza meg az offline (kötegelt) megerősítő tanulást?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi határozza meg az offline (kötegelt) megerősítő tanulást?
    • Tanulás egy rögzített adatkészletből új környezeti interakció nélkül
    • Tanulás csak folyamatos élő felfedezés útján
    • Edzés jutalomjel nélkül
    • Következtetés futtatása modell nélkül
  2. Mi a központi technikai kihívás az offline RL-ben?
    • Bármilyen adat hiánya
    • Elosztási eltolódás és az elosztáson kívüli akciók túlbecslése
    • Túlzott online felfedezés
    • Túl kevés paraméter van a hálózatban
  3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
    • A guarantee that an offline policy is safe to deploy
    • A new optimizer that removes the need for logged data
    • A benchmark suite of datasets and tasks for offline RL evaluation
    • A dataset containing only online interactions collected by each test policy
  4. Hogyan küzd a konzervatív Q-Learning (CQL) a túlbecslés ellen?
    • Értékek felfújásával a láthatatlan tettekért
    • A jutalom teljes eltávolításával
    • Ha többet fedez fel a való világban
    • A Q-értékek leszabályozásával az elosztáson kívüli műveletekhez
  5. Hogyan alakítja át a Decision Transformer az offline RL-t?
    • Sorozatmodellezésként, amely előrejelzi a kívánt megtérüléshez kötött cselekvéseket
    • Az állapotok klasztereződéseként
    • Tiszta véletlenszerű keresésként
    • Felügyelt képbesorolásként
  6. Miért nem lehet a szabványos online RL-algoritmusokat egyszerűen offline állapotban használni?
    • Neurális hálózatuk nincs
    • Nem gyűjthetnek korrekciós adatokat az érték túlbecslésének kijavításához
    • Soha nem használnak jutalmakat
    • Nem igényelnek politikát
  7. How does BCQ reduce reliance on actions absent from an offline dataset?
    • It adds random actions to every training transition
    • It assumes every action has been observed equally often
    • It constrains candidate actions to stay near actions the dataset supports
    • It removes the action-value function and reward
  8. What value-learning method is central to the cited Implicit Q-Learning paper?
    • Maximum-likelihood fitting of a language tokenizer
    • Uniform regression over actions sampled from a live environment
    • A supervised image-classification loss
    • Expectile regression over values associated with dataset actions