Офлайн викторина за обучение за подсилване

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво определя офлайн (партидното) обучение за укрепване?
   • Учене от фиксиран набор от данни без взаимодействие с нова среда
   • Учене само чрез непрекъснато изследване на живо
   • Обучение без сигнал за награда
   • Изпълнение на извод без модел
2. Какво е централното техническо предизвикателство в офлайн RL?
   • Липса на всякакви данни
   • Изместване на разпределението и надценяване на действията извън разпределението
   • Прекомерно онлайн проучване
   • Твърде малко параметри в мрежата
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. Как консервативното Q-обучение (CQL) се бори с надценяването?
   • Чрез надуване на стойности за невидими действия
   • Чрез пълното премахване на наградата
   • Като изследвате повече в реалния свят
   • Чрез регулиране на Q-стойностите надолу за действия извън разпределението
5. Как Decision Transformer преформулира офлайн RL?
   • Като моделиране на последователност, което предвижда действия, обусловени от желаната възвращаемост
   • Като групиране на състояния
   • Като чисто произволно търсене
   • Като контролирана класификация на изображения
6. Защо стандартните онлайн RL алгоритми не могат просто да се използват така, както са офлайн?
   • Те нямат невронна мрежа
   • Те не могат да събират коригиращи данни, за да коригират надценяването на стойността
   • Те никога не използват награди
   • Те не изискват политика
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions