引導式測驗 · 中等 等級
拒絕採樣微調測驗
涵蓋候選生成和過濾、基於驗證者的獎勵、監督再培訓以及優化有缺陷的評分器的風險。
問題 1 的 8
哪個循環最能描述拒絕採樣微調如何改進模型?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 哪個循環最能描述拒絕採樣微調如何改進模型?
- 產生許多候選答案,保留得分最高的答案,並對它們進行重新訓練
- 刪除表現最差的模型層
- 拒絕所有訓練資料並重新開始
- 採樣一次並始終接受輸出
- 在數學或程式碼等可驗證領域,什麼可以作為獎勵?
- 僅學習獎勵模型
- 答案是否正確或測試是否通過
- 響應的長度
- 生成的代幣數量
- 引用的論文描述了哪個模型系列在其對齊管道中使用拒絕採樣?
- GPT-4o
- BERT 基础
- Meta 的 Llama 2 聊天
- 耳语大号
- 對於某些任務,為什麼團隊會選擇拒絕抽樣微調而不是策略梯度方法?
- 它永远不需要候选生成器或评分规则
- 它保证没有奖励黑客
- 它總是比每個 RL 方法需要更少的計算
- 它可以對選定的世代使用監督學習,而不是透過策略梯度強化學習進行更新
- 對最大獎勵樣本進行有效訓練有什麼作用?
- 將最好的 N 品質提取到模型的單樣本輸出中
- 增加詞彙量
- 刪除模型生成文字的能力
- 將參數數量加倍
- 在對過濾後的模型產生的輸出進行反覆微調時,團隊應該監控什麼?
- 僅模型參數的數量
- 输出多样性和正确性
- 每个答案是否使用相同的措辞
- 仅选定样本的训练损失
- 拒絕抽樣微調候選選擇的限制是什麼?
- 它只能與圖像標籤一起使用
- 它总是改变标记器
- 它無法訓練從未生成或保留的高品質答案
- 它使得評分功能變得不必要
- 如果用於篩選候選人的評分模型有缺陷,會產生什麼風險?
- 該策略無法生成任何文本
- 分詞器自動改變詞彙
- 參考標籤變得不必要
- 該策略可能會學習利用記分器而不是提高預期質量