Викторина по методам актеров-критиков

Ответы и пояснения появляются по мере прохождения теста.

1. Какова роль «критика» в методе актера-критика?
   • Оценить ценность состояний (или действий) и оценить выбор актера.
   • Чтобы выбрать, какое действие предпринять
   • Для хранения буфера воспроизведения
   • Случайно исследовать окружающую среду
2. Что измеряет «преимущество» A(s,a) = Q(s,a) - V(s)?
   • Общая награда за эпизод
   • Насколько действие лучше среднего значения по штату
   • Скорость обучения
   • Количество доступных действий
3. Почему добавление критика снижает дисперсию по сравнению с чистыми градиентными методами, такими как REINFORCE?
   • Это удаляет вознаграждение из уравнения
   • Это делает политику детерминированной
   • Критик предоставляет базовый уровень, поэтому обновления используют менее шумный сигнал преимущества.
   • Увеличивает коэффициент дисконтирования
4. Какие возможности есть у методов Актер-Критик, с которыми неловко справляются простые методы, основанные на значениях, такие как Q-Learning?
   • Дискретные действия
   • Использование вознаграждений
   • Дисконтирование будущего
   • Пространства непрерывного действия
5. Какой из следующих алгоритмов на основе актера-критика широко используется для RLHF в языковых моделях?
   • PPO (оптимизация проксимальной политики)
   • K-средства
   • Линейная регрессия
   • Q-обучение
6. Какой сигнал обычно использует субъект для обновления своей политики?
   • Необработанный пиксельный ввод
   • Преимущество или ошибка TD, предоставленная критиком
   • Размер буфера воспроизведения
   • Фиксированное случайное число
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline