Викторина по обучению обратному подкреплению

Ответы и пояснения появляются по мере прохождения теста.

1. Что стремится восстановить обратное обучение с подкреплением?
   • Функция вознаграждения, объясняющая наблюдаемое поведение эксперта.
   • Более быстрый оптимизатор градиентного спуска.
   • Сжатая версия демонстраций
   • Размеченный набор данных изображений
2. Почему проблема IRL описывается как некорректная или двусмысленная?
   • Потому что демонстрации всегда совершенно оптимальны.
   • Потому что одно и то же поведение можно объяснить множеством разных функций вознаграждения.
   • Потому что вознаграждения всегда должны быть отрицательными
   • Потому что для этого не нужны экспертные данные
3. Какое ключевое преимущество имеет получение вознаграждения перед поведенческим клонированием?
   • Это не нуждается в демонстрациях
   • Он всегда работает в постоянное время
   • Он отражает основную цель, обобщая невидимые состояния.
   • Он избегает использования какой-либо политики
4. Как IRL с максимальной энтропией разрешает неоднозначность вознаграждения?
   • Заставляя все награды быть равными
   • Полностью игнорируя неоптимальные траектории
   • Удалив функцию вознаграждения
   • Путем моделирования вероятности траектории как экспоненциальной зависимости от общего вознаграждения
5. Что обычно делается после того, как IRL восстанавливает функцию вознаграждения?
   • Стандартное обучение с подкреплением выводит политику из этого вознаграждения.
   • Награда сбрасывается
   • Демонстрации удалены в целях экономии места.
   • Агент перестает учиться
6. В каком сценарии IRL особенно полезен?
   • Когда награда уже прекрасно известна
   • Если вы хотите понять и обобщить цели, стоящие за поведением экспертов.
   • Когда данные о поведении отсутствуют
   • Когда нужно запоминать только фиксированные действия
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward