Вікторина, пов’язана з посібником · Середній Рівень

Вікторина Q-Learning

Перевіряє Q-значення, навчання поза політикою, оновлення Bellman, дослідження, припущення конвергенції та чому Q-навчання вільне від моделей.

Пов'язані напрямні шляхиQ Навчання
Питання 1 з 8

Що означає Q-значення Q(s, a)?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що означає Q-значення Q(s, a)?
    • Очікувана довгострокова винагорода за виконання дії a в стані s, а потім діє оптимально
    • Ймовірність перебування в стані s
    • Кількість спроб дії a
    • Негайна винагорода лише за дію a
  2. Чому Q-Learning названо «поза політикою»?
    • Для цього потрібна модель середовища
    • Він може вивчити оптимальну політику, дотримуючись іншої дослідницької політики
    • Він працює лише в автономному режимі на збережених даних
    • Він повністю ігнорує винагороди
  3. Чим керує гамма коефіцієнта дисконтування в правилі оновлення?
    • Швидкість розвідки
    • Розмір держтаблиці
    • Наскільки майбутні винагороди зважені відносно негайних
    • Кількість епізодів
  4. Що таке помилка часової різниці (TD) у Q-Learning?
    • Різниця між двома станами
    • Загальна винагорода за епізод
    • Швидкість навчання, помножена на гамму
    • r + gamma*max Q(s',a') мінус поточна оцінка Q(s,a).
  5. Чому простий табличний Q-Learning бореться з такими великими проблемами, як відеоігри з пікселів?
    • Кількість окремих станів завелика для зберігання в таблиці
    • Він не може використовувати нагороди
    • Він працює лише з двома діями
    • Гамма має дорівнювати 1
  6. Яка мета виділення жадібних дій епсилон?
    • Щоб завжди вибирати дію з найвищим значенням Q
    • Щоб збалансувати дослідження нових дій із використанням відомих хороших
    • Щоб встановити дисконтний коефіцієнт
    • Для зберігання Q-таблиці
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities