Тест, свързан с ръководство · Среден Ниво

Q-Learning Тест

Проверява Q-стойности, обучение извън политиката, актуализации на Bellman, проучване, допускания за конвергенция и защо Q-обучението е без модели.

Свързани ръководни пътекиQ Учене
Въпрос 1 на 8

Какво представлява Q-стойността Q(s, a)?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво представлява Q-стойността Q(s, a)?
    • Очакваната дългосрочна награда от предприемане на действие a в състояние s, след което действа оптимално
    • Вероятността да бъдете в състояние s
    • Броят пъти, в които е изпробвано действие a
    • Незабавната награда само за действие a
  2. Защо Q-Learning е описан като „извън правилата“?
    • Изисква модел на средата
    • То може да научи оптималната политика, докато следва различна, изследователска политика
    • Работи само офлайн върху съхранени данни
    • Той напълно игнорира наградите
  3. В правилото за актуализиране какво контролира гама-факторът на отстъпка?
    • Степента на проучване
    • Размерът на държавната маса
    • Колко бъдещи награди са претеглени спрямо непосредствените
    • Броят на епизодите
  4. Каква е грешката във времевата разлика (TD) в Q-Learning?
    • Разликата между две състояния
    • Общата награда за епизод
    • Скоростта на обучение, умножена по гама
    • r + gamma*max Q(s',a') минус текущата Q(s,a) оценка
  5. Защо обикновеният табличен Q-Learning се бори с големи проблеми като видеоигрите от пиксели?
    • Броят на отделните състояния е твърде голям за съхраняване в таблица
    • Не може да използва награди
    • Работи само с две действия
    • Гама трябва да е равна на 1
  6. Каква е целта на избора на алчни действия по епсилон?
    • Винаги да избирате действието с най-висока Q-стойност
    • За да балансирате проучването на нови действия с използването на известни добри
    • За да зададете коефициента на отстъпка
    • За съхраняване на Q-таблицата
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities