引導式測驗 · 硬 等級

團體相關政策優化測驗

應用 GRPO 群體獎勵標準化、批評者去除和參考策略正則化,包括一個提示中相對優勢的含義。

相關引導路徑集團相關政策優化
問題 1 的 8

Which separately learned estimator does the original GRPO approach avoid training?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO 如何計算給定完成的優勢?
    • 透過查詢每個標記處的學習值頭
    • 透過使用沒有標準化的原始獎勵
    • 透過與不同提示的完成情況進行比較
    • 透過根據其兄弟完成組的平均值和標準差標準化其獎勵
  3. 哪些車款讓 GRPO 廣為人知?
    • DeepSeek 的 DeepSeekMath 和 DeepSeek-R1 推理模型
    • OpenAI 的 GPT-2 系列
    • Google 的原始 BERT
    • Meta 的 Llama 2 基礎模型
  4. KL 散度項在 GRPO 中扮演什麼角色?
    • 它產生完成群組
    • 它取代了獎勵模式
    • 它可以防止訓練後的策略偏離凍結的參考模型太遠
    • 它計算每個代幣的價值估計
  5. 為什麼 GRPO 對於訓練數學或程式碼推理模型特別有吸引力?
    • 它根本不需要獎勵訊號
    • 它僅適用於人類偏好標籤
    • 它不能使用採樣完成
    • 它自然地與可驗證的、基於規則的獎勵(例如,答案是否匹配或測試是否通過)一起工作,這些獎勵是在一組採樣解決方案中評分的
  6. 後續工作(如 GRPO 博士)試圖在普通 GRPO 中糾正的一種已知偏見是什麼?
    • 完全忽視獎勵的傾向
    • 獎勵標準化方式所引入的長度和難度偏差
    • 無法對多個完成進行採樣
    • 需要龐大的評論家網絡
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks