Quiz collegato alla guida · Difficile Livello
Normalizzazione delle ricompense raggruppate nel quiz RLHF
Scopri come GRPO confronta le risposte campionate all'interno di un gruppo di prompt, rimuove un critico e utilizza un obiettivo in stile PPO per gli aggiornamenti delle policy.
Domanda 1 di 8
Nella normalizzazione della ricompensa raggruppata, con cosa viene confrontata la ricompensa di ciascuna risposta?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nella normalizzazione della ricompensa raggruppata, con cosa viene confrontata la ricompensa di ciascuna risposta?
- La media e la deviazione standard del proprio gruppo di prompt
- Una costante globale fissa
- La ricompensa dell'epoca precedente
- Conteggio dei parametri del modello
- Quale algoritmo è maggiormente associato alla normalizzazione delle ricompense raggruppate?
- Discesa stocastica del gradiente
- GRPO (ottimizzazione della politica relativa del gruppo)
- K-significa clustering
- Propagazione all'indietro
- Quale componente del PPO standard il GRPO elimina in particolare?
- Il modello di ricompensa
- La rete neurale interamente
- La rete del valore separata (critica)
- I dati dell'allenamento
- Cosa succede a una risposta la cui ricompensa è inferiore alla media del suo gruppo?
- Riceve un vantaggio positivo e viene rinforzato
- Viene eliminato dal set di dati
- La sua ricompensa è raddoppiata
- Riceve un vantaggio negativo ed è scoraggiato
- What does within-prompt reward normalization provide to a GRPO update?
- A relative, scaled advantage for each response compared with others for the same prompt
- A guarantee that all prompt difficulty differences disappear
- A higher learning rate
- A way to make every response receive the same reward
- What happens when every response in a prompt group receives the same reward?
- Every response gets a positive advantage
- Centering gives no relative advantage; zero spread also requires numerical handling
- The group mean doubles the reward
- The model stops needing a policy objective
- Which PPO-style update element does GRPO retain?
- A separately learned value network
- K-means clustering over tokens
- A clipped policy objective
- A language-model tokenizer
- What can a KL penalty relative to a reference policy help constrain in GRPO?
- The number of prompts in each group
- The length of the tokenizer vocabulary
- The resolution of generated images
- How far the updated policy drifts from the reference policy