Quiz dotyczący optymalizacji polityki proksymalnej

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki problem rozwiązuje przede wszystkim „obcinanie” PPO?
   • Zbyt duże aktualizacje zasad, które destabilizują szkolenie
   • Powolne ładowanie danych
   • Limity rozmiaru słownictwa
   • Użycie pamięci podczas wnioskowania
2. Skąd zwykle pochodzi sygnał nagrody w modelu językowym RLHF z PPO?
   • Bezpośrednia punktacja każdego żetonu przez człowieka
   • Wyszkolony model nagrody
   • Szybkość uczenia się optymalizatora
   • Wielkość słownictwa
3. Co robi kara za rozbieżność KL w RLHF opartym na PPO?
   • Przyspiesza generowanie tokenów
   • Zwiększa dokładność modelu nagrody
   • Zapobiega nadmiernemu oddalaniu się precyzyjnie dostrojonego modelu od modelu referencyjnego
   • Eliminuje potrzebę sieci wartości
4. Jaka jest rola sieci wartości (krytycznej) w PPO?
   • Aby wygenerować ostateczny wynik tekstowy
   • Do przechowywania danych treningowych
   • Aby całkowicie zastąpić model nagrody
   • Aby oszacować oczekiwany zwrot, aby można było obliczyć korzyści
5. Co oznacza „przewaga” w PPO?
   • O ile lepsze było działanie od oczekiwanego poziomu bazowego
   • Całkowita liczba parametrów modelu
   • Zakres przycinania
   • Współczynnik kary KL
6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
   • It removes all policy sampling and optimizes only supervised labels
   • It estimates relative advantages from groups of sampled responses without a separate value critic
   • It uses a trained reward model as a value network
   • It guarantees zero policy drift after one update
7. What probability ratio does PPO clip in its surrogate objective?
   • The reward divided by the number of prompts
   • The value estimate divided by the KL coefficient
   • The new policy’s action probability divided by the old policy’s action probability
   • The sequence length divided by batch size
8. Why is PPO called an on-policy method in its standard form?
   • It trains only on a static image dataset
   • It never samples actions
   • It updates only a reward model
   • It collects trajectories using the current policy being optimized