Тест, свързан с ръководство · Среден Ниво

Тест за методи на актьор-критик

Проверява ролите на актьора и критиците, сигналите за предимство и TD, намаляването на дисперсията, непрекъснатите действия и примерите за PPO. в съвременната практика.

Свързани ръководни пътекиМетоди на актьорската критика
Въпрос 1 на 8

В метода актьор-критик каква е ролята на „критика“?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. В метода актьор-критик каква е ролята на „критика“?
    • Да оцени стойността на състоянията (или действията) и да оцени избора на актьора
    • За да изберете какво действие да предприемете
    • За съхраняване на буфера за повторение
    • За произволно изследване на околната среда
  2. Какво измерва „предимството“ A(s,a) = Q(s,a) - V(s)?
    • Общата награда за епизод
    • Колко по-добро е едно действие от средната стойност на държавата
    • Скоростта на учене
    • Броят налични действия
  3. Защо добавянето на критика намалява дисперсията в сравнение с методите с чист градиент на политики като REINFORCE?
    • Той премахва наградите от уравнението
    • Това прави политиката детерминистична
    • Критикът предоставя базова линия, така че актуализациите използват по-малко шумен сигнал за предимство
    • Увеличава коефициента на отстъпка
  4. Коя способност притежават методите на актьорско-критичен подход, с които обикновените базирани на стойност методи като Q-Learning се справят неудобно?
    • Дискретни действия
    • Използване на награди
    • Отстъпка от бъдещето
    • Пространства за непрекъснато действие
  5. Кое от следните е базиран на актьор-критик алгоритъм, широко използван за RLHF на езикови модели?
    • PPO (проксимална оптимизация на политиката)
    • К-означава
    • Линейна регресия
    • Q-обучение
  6. Какъв сигнал обикновено използва актьорът, за да актуализира своята политика?
    • Необработеният пикселен вход
    • Предимството или TD грешката, предоставена от критика
    • Размерът на буфера за повторение
    • Фиксирано произволно число
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline