引導式測驗 · 中等 等級
迭代 DPO 和線上偏好調整測驗
了解迭代 DPO 如何刷新偏好資料、使用判斷以及針對增加的成本和偏差進行重複的對齊輪次交易。
問題 1 的 8
DPO 避免了傳統 RLHF (PPO) 要求的哪些內容?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- DPO 避免了傳統 RLHF (PPO) 要求的哪些內容?
- 訓練單獨的顯性獎勵模型
- 任何訓練數據
- 使用神經網絡
- 完全是人類的喜好
- 為什麼迭代(線上)DPO 通常比在固定資料集上運行一次 DPO 更好?
- 它不需要偏好標籤
- 隨著模型的變化,它可以使訓練資料保持符合策略並保持最新
- 它刪除了參考模型
- 它僅適用於圖像
- 參考模型在 DPO 損失中扮演什麼角色?
- 它產生最終的用戶輸出
- 它標記了偏好
- 它透過對數機率比來錨定策略,控制偏差
- 它取代了分詞器
- 在線上 DPO 的單次迭代中,典型的順序是什麼?
- 刪除模型,然後從頭開始重新訓練
- 僅重新標記舊資料而不採樣
- 根據反應訓練 CNN
- 對新回應進行取樣、判斷偏好,然後執行 DPO 更新
- DPO中的beta超參數控制什麼?
- 政策與參考模型的偏差有多大
- 詞彙量大小
- GPU 數量
- 影像解析度
- 「自我獎勵」迭代 DPO 背後的關鍵思想是什麼?
- 該模型從未使用任何偏好
- 模型產生並判斷自己的反應對以創建訓練數據
- 人類必須標記每一對
- 它僅使用隨機獎勵
- Who can label response preferences in an online DPO iteration?
- Only the tokenizer
- Only the reference policy’s embedding layer
- Human raters or an AI judge such as a reward model
- A discriminator that never sees responses
- What additional work does iterative DPO require compared with using a fixed preference dataset once?
- Training no model parameters
- Removing all evaluation from the pipeline
- Storing every possible response in advance
- Repeated response generation and preference labeling between updates