引導式測驗 · 硬 等級
根據人類回饋進行強化學習測驗
練習 RLHF 偏好資料、獎勵代理和參考正規化,包括為什麼擬合判斷不能保證事實準確性。
問題 1 的 8
RLHF 對於語言模型的主要目的是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- RLHF 對於語言模型的主要目的是什麼?
- 使其輸出符合人類偏好,以提供幫助和安全
- 增加模型的參數數量
- 壓縮模型以加快推理速度
- 將模型翻譯成其他語言
- RLHF 中的獎勵模型實際上是用來做什麼的?
- 產生對使用者的最終回應
- 將提示轉換為獎勵貨幣
- 分配一個標量分數來反映人們對給定回應的偏好程度
- 決定模型的學習率
- What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?
- Every factual error with a complete correctness guarantee
- How far the optimized policy departs from the reference
- The tokenizer vocabulary’s spelling
- The number of human annotators automatically
- 通常如何為獎勵模型收集偏好資料?
- 人類從頭開始寫出全新的答案
- 模型評估自己的置信度
- 自動分配隨機標籤
- 人類比較兩個模型對同一提示的反應並選擇更好的一個
- 與經典的 RLHF 管道相比,DPO(直接偏好優化)有何優點?
- 它根本不需要任何數據
- 它保證模型永遠不會出錯
- 它直接從偏好對優化策略,跳過單獨的獎勵模型和 PPO 循環
- 它消除了預訓練的需要
- 在 RLAIF 和憲法人工智慧中,大部分回饋來自哪裡?
- 透過人工智慧模型產生或批評回應,減少人工標籤
- 僅來自付費人工註釋者
- 來自隨機數產生器
- 直接來自模型的預訓練語料庫
- An RLHF response receives a high learned reward but contains a false claim. What does this show?
- High reward proves the claim is true
- The response must have been generated without tokens
- The reference model’s vocabulary disappeared
- A preference-based reward is a proxy and can be mistaken
- Why should an RLHF team examine whose preference comparisons were collected?
- Annotator identity determines the GPU clock rate
- The judgments and task distribution shape what the model is rewarded for
- Every population has identical response preferences
- Preference data affect only file compression