引導式測驗 · 硬 等級
團體相關政策優化測驗
應用 GRPO 群體獎勵標準化、批評者去除和參考策略正則化,包括一個提示中相對優勢的含義。
問題 1 的 8
Which separately learned estimator does the original GRPO approach avoid training?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- Which separately learned estimator does the original GRPO approach avoid training?
- The policy that generates completions
- A value or critic model
- Every possible reward function
- The reference policy’s vocabulary
- GRPO 如何計算給定完成的優勢?
- 透過查詢每個標記處的學習值頭
- 透過使用沒有標準化的原始獎勵
- 透過與不同提示的完成情況進行比較
- 透過根據其兄弟完成組的平均值和標準差標準化其獎勵
- 哪些車款讓 GRPO 廣為人知?
- DeepSeek 的 DeepSeekMath 和 DeepSeek-R1 推理模型
- OpenAI 的 GPT-2 系列
- Google 的原始 BERT
- Meta 的 Llama 2 基礎模型
- KL 散度項在 GRPO 中扮演什麼角色?
- 它產生完成群組
- 它取代了獎勵模式
- 它可以防止訓練後的策略偏離凍結的參考模型太遠
- 它計算每個代幣的價值估計
- 為什麼 GRPO 對於訓練數學或程式碼推理模型特別有吸引力?
- 它根本不需要獎勵訊號
- 它僅適用於人類偏好標籤
- 它不能使用採樣完成
- 它自然地與可驗證的、基於規則的獎勵(例如,答案是否匹配或測試是否通過)一起工作,這些獎勵是在一組採樣解決方案中評分的
- 後續工作(如 GRPO 博士)試圖在普通 GRPO 中糾正的一種已知偏見是什麼?
- 完全忽視獎勵的傾向
- 獎勵標準化方式所引入的長度和難度偏差
- 無法對多個完成進行採樣
- 需要龐大的評論家網絡
- Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
- The completion rewarded 2
- The completion rewarded 6
- The completion rewarded 4
- All completions because rewards differ
- Why compare GRPO reward statistics among completions of the same prompt?
- They provide a relative baseline for alternative answers to that prompt
- They require unrelated prompts to have equal difficulty
- They replace checking whether an answer is correct
- They make the highest reward identical across all tasks