Kvíz spojený s průvodcem · Střední úroveň

Offline posilovací výukový kvíz

Prozkoumejte učení posilování pevných datových sad, posun distribuce a reprezentativní metody konzervativního a sekvenčního modelování.

Související vodicí cestyOffline posilovací učení
Otázka 1 z 8

Co definuje offline (dávkové) posilové učení?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co definuje offline (dávkové) posilové učení?
    • Učení se z pevné datové sady bez interakce s novým prostředím
    • Učení pouze prostřednictvím nepřetržitého živého zkoumání
    • Trénink bez signálu odměny
    • Spuštění inference bez jakéhokoli modelu
  2. Jaká je hlavní technická výzva v offline RL?
    • Nedostatek jakýchkoli dat
    • Distribuční posun a nadhodnocení akcí mimo distribuci
    • Nadměrné online zkoumání
    • Příliš málo parametrů v síti
  3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
    • A guarantee that an offline policy is safe to deploy
    • A new optimizer that removes the need for logged data
    • A benchmark suite of datasets and tasks for offline RL evaluation
    • A dataset containing only online interactions collected by each test policy
  4. Jak konzervativní Q-Learning (CQL) bojuje s nadhodnocováním?
    • Nafukováním hodnot za neviditelné akce
    • Úplným odebráním odměny
    • Tím, že budete více objevovat v reálném světě
    • Snížením hodnot Q pro akce mimo distribuci
  5. Jak Decision Transformer přerámuje offline RL?
    • Jako sekvenční modelování, které předpovídá akce podmíněné požadovaným návratem
    • Jako shlukování stavů
    • Jako čistě náhodné hledání
    • Jako řízená klasifikace obrázků
  6. Proč nelze standardní online RL algoritmy jednoduše používat tak, jak jsou offline?
    • Nemají žádnou neuronovou síť
    • Nemohou shromažďovat opravná data k nápravě nadhodnocení hodnoty
    • Nikdy nepoužívají odměny
    • Nevyžadují žádnou politiku
  7. How does BCQ reduce reliance on actions absent from an offline dataset?
    • It adds random actions to every training transition
    • It assumes every action has been observed equally often
    • It constrains candidate actions to stay near actions the dataset supports
    • It removes the action-value function and reward
  8. What value-learning method is central to the cited Implicit Q-Learning paper?
    • Maximum-likelihood fitting of a language tokenizer
    • Uniform regression over actions sampled from a live environment
    • A supervised image-classification loss
    • Expectile regression over values associated with dataset actions