Quiz Q-Learningowy

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co oznacza wartość Q Q(s, a)?
   • Oczekiwana długoterminowa nagroda za podjęcie działania w stanie s, a następnie działanie optymalne
   • Prawdopodobieństwo znalezienia się w stanie s
   • Liczba prób wykonania czynności a
   • Natychmiastowa nagroda tylko za działanie a
2. Dlaczego Q-Learning jest określane jako „niezgodne z zasadami”?
   • Wymaga modelu środowiska
   • Może nauczyć się optymalnej polityki, stosując inną, eksploracyjną politykę
   • Działa tylko w trybie offline na przechowywanych danych
   • Całkowicie ignoruje nagrody
3. Co w regule aktualizacji kontroluje współczynnik gamma rabatu?
   • Tempo eksploracji
   • Rozmiar tabeli stanów
   • Ile przyszłych nagród jest ważonych w stosunku do bezpośrednich
   • Liczba odcinków
4. Jaki jest błąd różnicy czasowej (TD) w Q-Learning?
   • Różnica między dwoma stanami
   • Całkowita nagroda za odcinek
   • Szybkość uczenia się razy gamma
   • r + gamma*max Q(s',a') minus bieżące oszacowanie Q(s,a).
5. Dlaczego zwykłe tabelaryczne Q-Learning zmaga się z dużymi problemami, takimi jak gry wideo z pikseli?
   • Liczba odrębnych stanów jest zbyt duża, aby można je było przechowywać w tabeli
   • Nie może korzystać z nagród
   • Działa tylko z dwoma akcjami
   • Gamma musi wynosić 1
6. Jaki jest cel zachłannego wyboru działań epsilon?
   • Aby zawsze wybierać działanie o najwyższej wartości Q
   • Aby zrównoważyć odkrywanie nowych działań z wykorzystywaniem znanych, dobrych
   • Aby ustawić współczynnik rabatu
   • Do przechowywania tabeli Q
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities