Test de învățare pentru întărire offline

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Ce definește învățarea prin întărire offline (în lot)?
   • Învățarea dintr-un set de date fix fără interacțiune cu un nou mediu
   • Învățarea numai prin explorare continuă în direct
   • Antrenament fără niciun semnal de recompensă
   • Rularea inferenței fără niciun model
2. Care este principala provocare tehnică în RL offline?
   • Lipsa oricăror date
   • Schimbarea distribuției și supraestimarea acțiunilor în afara distribuției
   • Explorări online excesive
   • Prea puțini parametri în rețea
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. Cum combate Conservative Q-Learning (CQL) supraestimarea?
   • Prin umflarea valorilor pentru acțiuni nevăzute
   • Prin eliminarea completă a recompensei
   • Explorând mai mult în lumea reală
   • Prin regularizarea valorilor Q în jos pentru acțiunile în afara distribuției
5. Cum transformă Decision Transformer RL offline?
   • Ca modelare secventa care prezice actiuni conditionate de randamentul dorit
   • Ca grupare de state
   • Ca căutare pură aleatorie
   • Ca clasificare a imaginilor supravegheate
6. De ce nu pot fi utilizați pur și simplu algoritmii RL online standard așa cum sunt offline?
   • Nu au rețea neuronală
   • Ei nu pot colecta date corective pentru a remedia supraestimarea valorii
   • Nu folosesc niciodată recompense
   • Nu necesită nicio politică
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions