引導式測驗 · 硬 等級

根據人類回饋進行強化學習測驗

練習 RLHF 偏好資料、獎勵代理和參考正規化,包括為什麼擬合判斷不能保證事實準確性。

問題 1 的 8

RLHF 對於語言模型的主要目的是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. RLHF 對於語言模型的主要目的是什麼?
    • 使其輸出符合人類偏好,以提供幫助和安全
    • 增加模型的參數數量
    • 壓縮模型以加快推理速度
    • 將模型翻譯成其他語言
  2. RLHF 中的獎勵模型實際上是用來做什麼的?
    • 產生對使用者的最終回應
    • 將提示轉換為獎勵貨幣
    • 分配一個標量分數來反映人們對給定回應的偏好程度
    • 決定模型的學習率
  3. What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
    • Every factual error with a complete correctness guarantee
    • How far the optimized policy departs from the reference
    • The tokenizer vocabulary’s spelling
    • The number of human annotators automatically
  4. 通常如何為獎勵模型收集偏好資料?
    • 人類從頭開始寫出全新的答案
    • 模型評估自己的置信度
    • 自動分配隨機標籤
    • 人類比較兩個模型對同一提示的反應並選擇更好的一個
  5. 與經典的 RLHF 管道相比,DPO(直接偏好優化)有何優點?
    • 它根本不需要任何數據
    • 它保證模型永遠不會出錯
    • 它直接從偏好對優化策略,跳過單獨的獎勵模型和 PPO 循環
    • 它消除了預訓練的需要
  6. 在 RLAIF 和憲法人工智慧中,大部分回饋來自哪裡?
    • 透過人工智慧模型產生或批評回應,減少人工標籤
    • 僅來自付費人工註釋者
    • 來自隨機數產生器
    • 直接來自模型的預訓練語料庫
  7. An RLHF response receives a high learned reward but contains a false claim. What does this show?
    • High reward proves the claim is true
    • The response must have been generated without tokens
    • The reference model’s vocabulary disappeared
    • A preference-based reward is a proxy and can be mistaken
  8. Why should an RLHF team examine whose preference comparisons were collected?
    • Annotator identity determines the GPU clock rate
    • The judgments and task distribution shape what the model is rewarded for
    • Every population has identical response preferences
    • Preference data affect only file compression