Mit dem Guide verknüpftes Quiz · Schwer Ebene

Gruppierte Belohnungsnormalisierung im RLHF-Quiz

Erfahren Sie, wie GRPO Stichprobenantworten innerhalb einer Eingabeaufforderungsgruppe vergleicht, einen Kritiker entfernt und ein PPO-ähnliches Ziel für Richtlinienaktualisierungen verwendet.

Verwandte FührungspfadeGruppierte Belohnungsnormalisierung in Rlhf
Frage 1 von 8

Womit wird bei der gruppierten Belohnungsnormalisierung die Belohnung jeder Antwort verglichen?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Womit wird bei der gruppierten Belohnungsnormalisierung die Belohnung jeder Antwort verglichen?
    • Der Mittelwert und die Standardabweichung der Gruppe der eigenen Eingabeaufforderung
    • Eine feste globale Konstante
    • Die Belohnung aus der vorherigen Epoche
    • Die Parameteranzahl des Modells
  2. Welcher Algorithmus ist am meisten mit der Normalisierung gruppierter Belohnungen verbunden?
    • Stochastischer Gradientenabstieg
    • GRPO (Group Relative Policy Optimization)
    • K-bedeutet Clustering
    • Rückpropagation
  3. Welche Komponente des Standard-PPO eliminiert GRPO insbesondere?
    • Das Belohnungsmodell
    • Das neuronale Netzwerk vollständig
    • Das separate Wertschöpfungsnetzwerk (Kritiker)
    • Die Trainingsdaten
  4. Was passiert mit einer Antwort, deren Belohnung unter dem Mittelwert ihrer Gruppe liegt?
    • Es erhält einen positiven Vorteil und wird verstärkt
    • Es wird aus dem Datensatz gelöscht
    • Seine Belohnung wird verdoppelt
    • Es erhält einen negativen Vorteil und wird entmutigt
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy