Quiz dotyczący metod aktora-krytyka

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest rola „krytyka” w metodzie aktora-krytyka?
   • Oszacować wartość stanów (lub działań) i ocenić wybory aktora
   • Aby wybrać, jakie działanie ma zostać podjęte
   • Do przechowywania bufora odtwarzania
   • Losowe eksplorowanie otoczenia
2. Co mierzy „przewaga” A(s,a) = Q(s,a) - V(s)?
   • Całkowita nagroda za odcinek
   • O ileż lepsze jest działanie od średniej wartości stanu
   • Szybkość uczenia się
   • Liczba dostępnych akcji
3. Dlaczego dodanie krytyka zmniejsza wariancję w porównaniu z metodami opartymi wyłącznie na gradiencie polityki, takimi jak REINFORCE?
   • Usuwa nagrody z równania
   • To sprawia, że polityka jest deterministyczna
   • Krytyk zapewnia punkt odniesienia, więc aktualizacje korzystają z mniej hałaśliwego sygnału przewagi
   • Zwiększa współczynnik rabatu
4. Z jakimi możliwościami metody aktora-krytyka radzą sobie niezręcznie w porównaniu ze zwykłymi metodami opartymi na wartościach, takimi jak Q-Learning?
   • Dyskretne działania
   • Korzystanie z nagród
   • Dyskontowanie przyszłości
   • Ciągłe przestrzenie akcji
5. Który z poniższych algorytmów jest algorytmem opartym na aktorze-krytyku, szeroko stosowanym w przypadku RLHF w modelach językowych?
   • PPO (Proksymalna Optymalizacja Polityki)
   • K-oznacza
   • Regresja liniowa
   • Q-Learning
6. Jakiego sygnału zazwyczaj używa podmiot do aktualizacji swojej polityki?
   • Surowe wejście pikseli
   • Przewaga lub błąd TD podany przez krytyka
   • Rozmiar bufora odtwarzania
   • Stała liczba losowa
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline