Quiz collegato alla guida · Difficile Livello

Normalizzazione delle ricompense raggruppate nel quiz RLHF

Scopri come GRPO confronta le risposte campionate all'interno di un gruppo di prompt, rimuove un critico e utilizza un obiettivo in stile PPO per gli aggiornamenti delle policy.

Domanda 1 di 8

Nella normalizzazione della ricompensa raggruppata, con cosa viene confrontata la ricompensa di ciascuna risposta?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Nella normalizzazione della ricompensa raggruppata, con cosa viene confrontata la ricompensa di ciascuna risposta?
    • La media e la deviazione standard del proprio gruppo di prompt
    • Una costante globale fissa
    • La ricompensa dell'epoca precedente
    • Conteggio dei parametri del modello
  2. Quale algoritmo è maggiormente associato alla normalizzazione delle ricompense raggruppate?
    • Discesa stocastica del gradiente
    • GRPO (ottimizzazione della politica relativa del gruppo)
    • K-significa clustering
    • Propagazione all'indietro
  3. Quale componente del PPO standard il GRPO elimina in particolare?
    • Il modello di ricompensa
    • La rete neurale interamente
    • La rete del valore separata (critica)
    • I dati dell'allenamento
  4. Cosa succede a una risposta la cui ricompensa è inferiore alla media del suo gruppo?
    • Riceve un vantaggio positivo e viene rinforzato
    • Viene eliminato dal set di dati
    • La sua ricompensa è raddoppiata
    • Riceve un vantaggio negativo ed è scoraggiato
  5. What does within-prompt reward normalization provide to a GRPO update?
    • A relative, scaled advantage for each response compared with others for the same prompt
    • A guarantee that all prompt difficulty differences disappear
    • A higher learning rate
    • A way to make every response receive the same reward
  6. What happens when every response in a prompt group receives the same reward?
    • Every response gets a positive advantage
    • Centering gives no relative advantage; zero spread also requires numerical handling
    • The group mean doubles the reward
    • The model stops needing a policy objective
  7. Which PPO-style update element does GRPO retain?
    • A separately learned value network
    • K-means clustering over tokens
    • A clipped policy objective
    • A language-model tokenizer
  8. What can a KL penalty relative to a reference policy help constrain in GRPO?
    • The number of prompts in each group
    • The length of the tokenizer vocabulary
    • The resolution of generated images
    • How far the updated policy drifts from the reference policy