引導式測驗 · 中等 等級

獎勵建模測驗

測試獎勵模型分數、偏好資料、成對排名損失、獎勵駭客以及 RLHF 中的 N 最佳使用。檢查假設和範圍。

相關引導路徑獎勵模型
問題 1 的 8

對於給定的提示響應對,獎勵模型的主要輸出是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 對於給定的提示響應對,獎勵模型的主要輸出是什麼?
    • 單一標量分數
    • 全文回覆
    • 詞彙表的機率分佈
    • 首選代幣列表
  2. What feedback format did the InstructGPT paper collect to train its reward model?
    • A guaranteed correctness label for every possible answer
    • Human rankings of several model responses, converted into pairwise preferences
    • A single sentiment score for each training prompt
    • Only binary safety labels with no response comparisons
  3. 標準獎勵模型損失優化了什麼?
    • 每個響應的絕對獎勵值
    • 下一個token預測準確率
    • 所選反應的得分高於被拒絕的回應的得分
    • 回复的長度
  4. 什麼是「獎勵黑客」?
    • 竊取競爭對手的獎勵模式
    • 一種加速訓練的方法
    • 加密獎勵訊號
    • 該政策利用獎勵模型中的缺陷在沒有真正品質的情況下獲得高分
  5. 獎勵模型在架構上是如何從語言模型衍生出來的?
    • 透過單一標量輸出頭替換令牌預測頭
    • 透過添加更多的注意力層
    • 透過移除所有變壓器層
    • 透過加倍詞彙量
  6. 在 N 次最佳取樣的推理時間如何使用獎勵模型?
    • 平行訓練 N 個獎勵模型
    • 產生多個回應並使用獎勵模型選擇得分最高的回應
    • 選擇 N 個最常見的標記
    • 平均 N 個模型檢查點
  7. Why might an RLHF study use an ensemble of reward models during training?
    • To guarantee that reward hacking is impossible
    • To replace the human preference data with exact correctness labels
    • To estimate disagreement or uncertainty across learned preference scorers
    • To ensure every candidate receives the same score
  8. Why should reward-model evaluations include held-out comparisons?
    • To ensure training comparisons are never used
    • To make every output identical
    • To guarantee the reward is unbiased
    • To test whether preferences generalize beyond the training comparisons