基礎知識指南

RLHF 中的分組獎勵標準化

Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. RLHF 分組獎勵標準化的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.

深入探討

DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.

現實世界的實施

Comparing several candidate math solutions from one prompt using a verifier score

Using code-test results to rank responses generated for the same coding prompt

Inspecting how a reward model’s scores vary within one prompt group

Reducing memory use in a PPO-style language-model update by omitting a separate value network

RLHF 分組獎勵標準化的未來

Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.

付諸實踐

為什麼這很重要

  • 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
  • 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
  • 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。

留意

  • 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
  • 基準測試可能看起來很強大,但實際效能卻參差不齊。
  • 忽視數據品質和評估計劃通常會產生脆弱的結果。

後續步驟

  1. 從您需要的結果的簡單語言定義開始。
  2. 在測試之前選擇一種成功指標和一種失敗條件。
  3. 使用代表性資料運行小型試點,而不是完善的演示集。
  4. 記錄 RLHF 中的分組獎勵標準化在哪些方面有幫助以及在哪些方面更簡單的方法更好。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Grouped Reward Normalization in RLHF quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 RLHF 中的分組獎勵標準化?

Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.

在分組獎勵標準化中,每個回應的獎勵與什麼進行比較?

每個獎勵都會使用相同提示的反應組的平均值和標準差轉換為 z 分數。

哪種演算法與分組獎勵標準化最相關?

GRPO 由 DeepSeek 引入並在 DeepSeek-R1 中使用,它是圍繞標準化群體內的獎勵而構建的。

GRPO 特別消除了標準 PPO 的哪些組成部分?

透過使用群組平均值作為基線,GRPO 丟棄了學習批評家,從而節省了記憶體和計算量。

如果回應的獎勵低於其組別的平均值,會發生什麼情況?

減去群體平均值會使低於平均的反應具有負面優勢,從而使政策遠離他們。

What does within-prompt reward normalization provide to a GRPO update?

Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.