Quiz dotyczący uczenia się ze wzmocnieniem odwrotnym

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co ma na celu odzyskanie uczenia się przez odwrotne wzmacnianie?
   • Funkcja nagrody wyjaśniająca zaobserwowane zachowanie eksperta
   • Szybszy optymalizator opadania gradientowego
   • Skompresowana wersja demonstracji
   • Zbiór danych obrazu z etykietą
2. Dlaczego problem IRL jest opisywany jako źle postawiony lub niejednoznaczny?
   • Ponieważ demonstracje są zawsze doskonale optymalne
   • Ponieważ wiele różnych funkcji nagrody może wyjaśnić to samo zachowanie
   • Ponieważ nagrody zawsze muszą być negatywne
   • Ponieważ nie wymaga danych eksperckich
3. Jaką kluczową przewagę ma odzyskanie nagrody w porównaniu z klonowaniem behawioralnym?
   • Nie potrzeba żadnych demonstracji
   • Zawsze działa w stałym czasie
   • Oddaje podstawowy cel, uogólniając na niewidoczne stany
   • Unika stosowania jakichkolwiek zasad
4. W jaki sposób IRL o maksymalnej entropii rozwiązuje niejednoznaczność nagrody?
   • Zmuszając, aby wszystkie nagrody były równe
   • Całkowicie ignorując nieoptymalne trajektorie
   • Usuwając funkcję nagrody
   • Modelując prawdopodobieństwo trajektorii jako wykładnicze w całkowitej nagrodzie
5. Co zwykle robi się dalej, gdy IRL odzyskuje funkcję nagrody?
   • Standardowe uczenie się przez wzmacnianie opiera się na tej nagrodzie
   • Nagroda zostaje odrzucona
   • Demonstracje są usuwane, aby zaoszczędzić miejsce
   • Agent przestaje się uczyć
6. W którym scenariuszu IRL jest szczególnie przydatny?
   • Kiedy nagroda jest już doskonale znana
   • Gdy chcesz zrozumieć i uogólnić cele stojące za zachowaniem eksperckim
   • Gdy nie ma danych o zachowaniu
   • Kiedy musisz zapamiętać tylko ustalone czynności
7. Why can a constant zero reward explain many different expert policies?
   • It assigns the highest reward only to expert actions
   • It proves the expert is optimal
   • Every policy receives the same return, so none is preferred by the reward
   • It makes the transition model deterministic
8. In maximum-entropy IRL, how are higher-reward trajectories treated relative to lower-reward ones?
   • They are assigned probability zero
   • They are treated as equally likely regardless of reward
   • They are removed before policy learning
   • They receive higher probability, with probability depending exponentially on total reward