GUIDA AI FONDAMENTALI

Normalizzazione delle ricompense raggruppate in RLHF

Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.

Ascolta questa guidaNarrato dall'IA · ~2 min

In questa pagina2 minuti di lettura
  1. Panoramica
  2. Immersione profonda
  3. Implementazione nel mondo reale
  4. Il futuro della normalizzazione delle ricompense raggruppate in RLHF
  5. Metterlo in pratica
  6. Continua a esplorare
  7. Domande frequenti

Panoramica

DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.

Immersione profonda

DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.

Implementazione nel mondo reale

Comparing several candidate math solutions from one prompt using a verifier score

Using code-test results to rank responses generated for the same coding prompt

Inspecting how a reward model’s scores vary within one prompt group

Reducing memory use in a PPO-style language-model update by omitting a separate value network

Il futuro della normalizzazione delle ricompense raggruppate in RLHF

Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.

Metterlo in pratica

Perché è importante

  • Decisioni più chiare. Ti aiuta a separare le chiare affermazioni tecniche dal linguaggio di marketing.
  • Costo e budget. Puoi porre domande sull'implementazione migliore prima di spendere denaro o tempo.
  • Team e flusso di lavoro. I team con una comprensione condivisa prendono decisioni migliori su prodotti, politiche e apprendimento.

Attenzione

  • Team diversi possono utilizzare lo stesso termine in modo diverso, quindi definisci l'ambito in anticipo.
  • I benchmark possono sembrare solidi mentre le prestazioni nel mondo reale non sono uniformi.
  • Ignorare la qualità dei dati e i piani di valutazione spesso crea risultati fragili.

Prossimi passi

  1. Inizia con una definizione in linguaggio semplice del risultato di cui hai bisogno.
  2. Scegli una metrica di successo e una condizione di fallimento prima del test.
  3. Esegui un piccolo progetto pilota con dati rappresentativi, non un set demo raffinato.
  4. Documento in cui la normalizzazione delle ricompense raggruppate in RLHF aiuta e dove i metodi più semplici sono migliori.

Continua a esplorare

Newsletter gratuita

Ricevi il briefing quotidiano sull'IA

Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.

Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.

Mettiti alla prova

Take the Grouped Reward Normalization in RLHF quiz

Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.

Inizia il quiz

Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione

Domande frequenti

What is Grouped Reward Normalization in RLHF?

Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.

Nella normalizzazione della ricompensa raggruppata, con cosa viene confrontata la ricompensa di ciascuna risposta?

Ogni ricompensa viene convertita in un punteggio z utilizzando la media e la deviazione standard del gruppo di risposte allo stesso prompt.

Quale algoritmo è maggiormente associato alla normalizzazione delle ricompense raggruppate?

GRPO, introdotto da DeepSeek e utilizzato in DeepSeek-R1, si basa sulla normalizzazione dei premi all'interno di un gruppo.

Quale componente del PPO standard il GRPO elimina in particolare?

Utilizzando la media del gruppo come base di riferimento, il GRPO elimina il critico esperto, risparmiando memoria e calcolo.

Cosa succede a una risposta la cui ricompensa è inferiore alla media del suo gruppo?

Sottraendo la media del gruppo, le risposte inferiori alla media hanno un vantaggio negativo, allontanando la politica da esse.

What does within-prompt reward normalization provide to a GRPO update?

Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.