Викторина Q-Learning

Ответы и пояснения появляются по мере прохождения теста.

1. Что представляет собой Q-значение Q(s, a)?
   • Ожидаемое долгосрочное вознаграждение за совершение действия a в состоянии s, а затем оптимальное действие.
   • Вероятность пребывания в состоянии s
   • Сколько раз было опробовано действие a
   • Немедленное вознаграждение только за действие
2. Почему Q-Learning называют «вне политики»?
   • Требуется модель окружающей среды.
   • Он может изучить оптимальную политику, следуя другой, исследовательской политике.
   • Он работает только в автономном режиме с сохраненными данными.
   • Он полностью игнорирует награды
3. Чем в правиле обновления управляет гамма коэффициента дисконтирования?
   • Скорость разведки
   • Размер таблицы состояний
   • Насколько будущие вознаграждения имеют вес по сравнению с немедленными
   • Количество серий
4. Что такое ошибка временной разницы (TD) в Q-Learning?
   • Разница между двумя состояниями
   • Общая награда за эпизод
   • Скорость обучения, умноженная на гамму
   • r + gamma*max Q(s',a') минус текущая оценка Q(s,a)
5. Почему простое табличное Q-Learning не справляется с большими задачами, такими как пиксельные видеоигры?
   • Количество различных состояний слишком велико для хранения в таблице.
   • Он не может использовать награды
   • Работает только с двумя действиями
   • Гамма должна быть равна 1
6. Какова цель эпсилон-жадного выбора действий?
   • Всегда выбирать действие с наивысшим значением Q
   • Чтобы сбалансировать изучение новых действий и использование уже известных хороших
   • Чтобы установить коэффициент скидки
   • Чтобы сохранить Q-таблицу
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities