Kvíz spojený s průvodcem · Střední úroveň
Offline posilovací výukový kvíz
Prozkoumejte učení posilování pevných datových sad, posun distribuce a reprezentativní metody konzervativního a sekvenčního modelování.
Otázka 1 z 8
Co definuje offline (dávkové) posilové učení?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co definuje offline (dávkové) posilové učení?
- Učení se z pevné datové sady bez interakce s novým prostředím
- Učení pouze prostřednictvím nepřetržitého živého zkoumání
- Trénink bez signálu odměny
- Spuštění inference bez jakéhokoli modelu
- Jaká je hlavní technická výzva v offline RL?
- Nedostatek jakýchkoli dat
- Distribuční posun a nadhodnocení akcí mimo distribuci
- Nadměrné online zkoumání
- Příliš málo parametrů v síti
- What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
- A guarantee that an offline policy is safe to deploy
- A new optimizer that removes the need for logged data
- A benchmark suite of datasets and tasks for offline RL evaluation
- A dataset containing only online interactions collected by each test policy
- Jak konzervativní Q-Learning (CQL) bojuje s nadhodnocováním?
- Nafukováním hodnot za neviditelné akce
- Úplným odebráním odměny
- Tím, že budete více objevovat v reálném světě
- Snížením hodnot Q pro akce mimo distribuci
- Jak Decision Transformer přerámuje offline RL?
- Jako sekvenční modelování, které předpovídá akce podmíněné požadovaným návratem
- Jako shlukování stavů
- Jako čistě náhodné hledání
- Jako řízená klasifikace obrázků
- Proč nelze standardní online RL algoritmy jednoduše používat tak, jak jsou offline?
- Nemají žádnou neuronovou síť
- Nemohou shromažďovat opravná data k nápravě nadhodnocení hodnoty
- Nikdy nepoužívají odměny
- Nevyžadují žádnou politiku
- How does BCQ reduce reliance on actions absent from an offline dataset?
- It adds random actions to every training transition
- It assumes every action has been observed equally often
- It constrains candidate actions to stay near actions the dataset supports
- It removes the action-value function and reward
- What value-learning method is central to the cited Implicit Q-Learning paper?
- Maximum-likelihood fitting of a language tokenizer
- Uniform regression over actions sampled from a live environment
- A supervised image-classification loss
- Expectile regression over values associated with dataset actions