Вікторина, пов’язана з посібником · Середній Рівень

Вікторина «Акторсько-критичні методи».

Перевіряє ролі актора та критика, сигнали переваги та TD, зменшення дисперсії, безперервні дії та приклади PPO. в сучасній практиці.

Пов'язані напрямні шляхиМетоди акторської критики
Питання 1 з 8

У методі «Актор-критик» яка роль «критика»?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. У методі «Актор-критик» яка роль «критика»?
    • Оцінити значення станів (або дій) і оцінити вибір актора
    • Щоб вибрати, яку дію виконати
    • Для зберігання буфера відтворення
    • Для випадкового дослідження навколишнього середовища
  2. Що вимірює «перевага» A(s,a) = Q(s,a) - V(s)?
    • Загальна винагорода за епізод
    • Наскільки дія краща за середню державну вартість
    • Швидкість навчання
    • Кількість доступних дій
  3. Чому додавання критики зменшує дисперсію порівняно з чистими методами градієнта політики, такими як REINFORCE?
    • Це виключає винагороди з рівняння
    • Це робить політику детермінованою
    • Критика надає базову лінію, тому оновлення використовують менш шумний сигнал переваги
    • Це збільшує дисконтний коефіцієнт
  4. Які можливості мають методи акторської критики, з якими незручно справляються прості методи на основі цінностей, такі як Q-Learning?
    • Дискретні дії
    • Використання винагород
    • Знижка на майбутнє
    • Простори безперервної дії
  5. Що з наведеного нижче є алгоритмом на основі актора-критика, який широко використовується для RLHF на мовних моделях?
    • PPO (проксимальна оптимізація політики)
    • К-означає
    • Лінійна регресія
    • Q-навчання
  6. Який сигнал актор зазвичай використовує для оновлення своєї політики?
    • Необроблений піксельний вхід
    • Перевага або помилка TD, надані критиком
    • Розмір буфера відтворення
    • Фіксоване випадкове число
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline