引導式測驗 · 中等 等級
獎勵建模測驗
測試獎勵模型分數、偏好資料、成對排名損失、獎勵駭客以及 RLHF 中的 N 最佳使用。檢查假設和範圍。
問題 1 的 8
對於給定的提示響應對,獎勵模型的主要輸出是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 對於給定的提示響應對,獎勵模型的主要輸出是什麼?
- 單一標量分數
- 全文回覆
- 詞彙表的機率分佈
- 首選代幣列表
- What feedback format did the InstructGPT paper collect to train its reward model?
- A guaranteed correctness label for every possible answer
- Human rankings of several model responses, converted into pairwise preferences
- A single sentiment score for each training prompt
- Only binary safety labels with no response comparisons
- 標準獎勵模型損失優化了什麼?
- 每個響應的絕對獎勵值
- 下一個token預測準確率
- 所選反應的得分高於被拒絕的回應的得分
- 回复的長度
- 什麼是「獎勵黑客」?
- 竊取競爭對手的獎勵模式
- 一種加速訓練的方法
- 加密獎勵訊號
- 該政策利用獎勵模型中的缺陷在沒有真正品質的情況下獲得高分
- 獎勵模型在架構上是如何從語言模型衍生出來的?
- 透過單一標量輸出頭替換令牌預測頭
- 透過添加更多的注意力層
- 透過移除所有變壓器層
- 透過加倍詞彙量
- 在 N 次最佳取樣的推理時間如何使用獎勵模型?
- 平行訓練 N 個獎勵模型
- 產生多個回應並使用獎勵模型選擇得分最高的回應
- 選擇 N 個最常見的標記
- 平均 N 個模型檢查點
- Why might an RLHF study use an ensemble of reward models during training?
- To guarantee that reward hacking is impossible
- To replace the human preference data with exact correctness labels
- To estimate disagreement or uncertainty across learned preference scorers
- To ensure every candidate receives the same score
- Why should reward-model evaluations include held-out comparisons?
- To ensure training comparisons are never used
- To make every output identical
- To guarantee the reward is unbiased
- To test whether preferences generalize beyond the training comparisons