引導式測驗 · 中等 等級

迭代 DPO 和線上偏好調整測驗

了解迭代 DPO 如何刷新偏好資料、使用判斷以及針對增加的成本和偏差進行重複的對齊輪次交易。

問題 1 的 8

DPO 避免了傳統 RLHF (PPO) 要求的哪些內容?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. DPO 避免了傳統 RLHF (PPO) 要求的哪些內容?
    • 訓練單獨的顯性獎勵模型
    • 任何訓練數據
    • 使用神經網絡
    • 完全是人類的喜好
  2. 為什麼迭代(線上)DPO 通常比在固定資料集上運行一次 DPO 更好?
    • 它不需要偏好標籤
    • 隨著模型的變化,它可以使訓練資料保持符合策略並保持最新
    • 它刪除了參考模型
    • 它僅適用於圖像
  3. 參考模型在 DPO 損失中扮演什麼角色?
    • 它產生最終的用戶輸出
    • 它標記了偏好
    • 它透過對數機率比來錨定策略,控制偏差
    • 它取代了分詞器
  4. 在線上 DPO 的單次迭代中,典型的順序是什麼?
    • 刪除模型,然後從頭開始重新訓練
    • 僅重新標記舊資料而不採樣
    • 根據反應訓練 CNN
    • 對新回應進行取樣、判斷偏好,然後執行 DPO 更新
  5. DPO中的beta超參數控制什麼?
    • 政策與參考模型的偏差有多大
    • 詞彙量大小
    • GPU 數量
    • 影像解析度
  6. 「自我獎勵」迭代 DPO 背後的關鍵思想是什麼?
    • 該模型從未使用任何偏好
    • 模型產生並判斷自己的反應對以創建訓練數據
    • 人類必須標記每一對
    • 它僅使用隨機獎勵
  7. Who can label response preferences in an online DPO iteration?
    • Only the tokenizer
    • Only the reference policy’s embedding layer
    • Human raters or an AI judge such as a reward model
    • A discriminator that never sees responses
  8. What additional work does iterative DPO require compared with using a fixed preference dataset once?
    • Training no model parameters
    • Removing all evaluation from the pipeline
    • Storing every possible response in advance
    • Repeated response generation and preference labeling between updates