Quiz połączony z przewodnikiem · Ciężko Poziom

Quiz dotyczący optymalizacji zasad względnej grupy

Zastosuj normalizację nagród grupowych GRPO, usuwanie krytyków i uregulowanie zasad referencyjnych, łącznie z tym, co oznaczają względne korzyści w ramach jednego monitu.

Powiązane ścieżki prowadząceOptymalizacja polityki względnej grupy
Pytanie 1 z 8

Which separately learned estimator does the original GRPO approach avoid training?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. W jaki sposób GRPO oblicza przewagę za dane ukończenie?
    • Wysyłając zapytanie do wyuczonej wartości na każdym tokenie
    • Używając surowej nagrody bez normalizacji
    • Porównując je z uzupełnieniami z innego monitu
    • Standaryzując swoją nagrodę w stosunku do średniej i odchylenia standardowego grupy ukończeń rodzeństwa
  3. Które modele sprawiły, że GRPO stało się znane?
    • Modele wnioskowania DeepSeekMath i DeepSeek-R1 firmy DeepSeek
    • Seria GPT-2 firmy OpenAI
    • Oryginalny BERT Google
    • Podstawowe modele Lamy 2 firmy Meta
  4. Jaką rolę odgrywa termin rozbieżności KL w GRPO?
    • Generuje grupę uzupełnień
    • Zastępuje model nagrody
    • Dzięki temu wyszkolona polityka nie odbiega zbytnio od zamrożonego modelu referencyjnego
    • Oblicza szacunkową wartość dla każdego tokenu
  5. Dlaczego GRPO jest szczególnie atrakcyjne do uczenia modeli rozumowania na matematyce lub kodzie?
    • Nie wymaga w ogóle sygnału nagrody
    • Działa tylko z etykietami preferencji ludzkich
    • Nie może używać próbnych uzupełnień
    • Działa naturalnie z weryfikowalnymi, opartymi na regułach nagrodami (np. czy odpowiedź pasowała lub czy testy zaszły pomyślnie) punktowanymi w grupie próbkowanych rozwiązań
  6. Jakie jest znane błąd, który dalsze prace (np. dr GRPO) próbują skorygować w zwykłym GRPO?
    • Tendencja do całkowitego ignorowania nagrody
    • Błędy dotyczące długości i trudności wprowadzone przez normalizację nagród
    • Niemożność pobrania więcej niż jednego zakończenia
    • Wymaganie dla ogromnej sieci krytyków
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks