Quiz połączony z przewodnikiem · Ciężko Poziom

Zgrupowana normalizacja nagród w quizie RLHF

Dowiedz się, jak GRPO porównuje próbkowane odpowiedzi w ramach grupy promptów, eliminuje krytyka i wykorzystuje cel w stylu PPO do aktualizacji polityki.

Powiązane ścieżki prowadząceZgrupowana normalizacja nagród w Rlhf
Pytanie 1 z 8

W normalizacji nagrody grupowej, z czym porównywana jest nagroda za każdą odpowiedź?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. W normalizacji nagrody grupowej, z czym porównywana jest nagroda za każdą odpowiedź?
    • Średnia i odchylenie standardowe grupy własnej podpowiedzi
    • Stała stała globalna
    • Nagroda z poprzedniej epoki
    • Liczba parametrów modelu
  2. Który algorytm jest najbardziej kojarzony z normalizacją nagród grupowych?
    • Stochastyczne zejście gradientowe
    • GRPO (optymalizacja zasad względnych grupy)
    • K-oznacza grupowanie
    • Propagacja wsteczna
  3. Jaki składnik standardowego PPO GRPO w szczególności eliminuje?
    • Model nagrody
    • Sieć neuronowa w całości
    • Odrębna sieć wartości (krytyk)
    • Dane treningowe
  4. Co dzieje się z odpowiedzią, której nagroda jest niższa od średniej danej grupy?
    • Otrzymuje pozytywną przewagę i zostaje wzmocniony
    • Jest usuwany ze zbioru danych
    • Jego nagroda jest podwojona
    • Otrzymuje negatywną przewagę i jest zniechęcany
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy