Тест за обучение с обратно подсилване

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Какво има за цел да възстанови обучението с обратно подсилване?
   • Функция за възнаграждение, която обяснява наблюдаваното експертно поведение
   • По-бърз оптимизатор за градиентно спускане
   • Компресирана версия на демонстрациите
   • Набор от данни за изображение с етикет
2. Защо проблемът с IRL е описан като неправилно поставен или двусмислен?
   • Защото демонстрациите винаги са идеално оптимални
   • Тъй като много различни функции за възнаграждение могат да обяснят едно и също поведение
   • Защото наградите винаги трябва да са отрицателни
   • Защото не изисква експертни данни
3. Какво ключово предимство има възстановяването на награда пред поведенческото клониране?
   • Няма нужда от демонстрации
   • Винаги работи в постоянно време
   • Той улавя основната цел, обобщавайки до невидими състояния
   • Избягва използването на каквато и да е политика
4. Как IRL с максимална ентропия разрешава неяснотата на възнаграждението?
   • Като налага всички награди да бъдат равни
   • Чрез пълното игнориране на неоптималните траектории
   • Чрез премахване на функцията за възнаграждение
   • Чрез моделиране на вероятността на траекторията като експоненциална в общата награда
5. След като IRL възстанови функция за възнаграждение, какво обикновено се прави след това?
   • Стандартното обучение за подсилване извлича политика от тази награда
   • Наградата се изхвърля
   • Демонстрациите се изтриват, за да се спести място
   • Агентът спира да учи
6. В кой сценарий IRL е особено полезен?
   • Когато наградата вече е напълно известна
   • Когато искате да разберете и обобщите целите зад експертното поведение
   • Когато няма данни за поведение
   • Когато трябва само да запомните фиксирани действия
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward