引導式測驗 · 中等 等級

拒絕採樣微調測驗

涵蓋候選生成和過濾、基於驗證者的獎勵、監督再培訓以及優化有缺陷的評分器的風險。

相關引導路徑拒絕採樣微調
問題 1 的 8

哪個循環最能描述拒絕採樣微調如何改進模型?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 哪個循環最能描述拒絕採樣微調如何改進模型?
    • 產生許多候選答案,保留得分最高的答案,並對它們進行重新訓練
    • 刪除表現最差的模型層
    • 拒絕所有訓練資料並重新開始
    • 採樣一次並始終接受輸出
  2. 在數學或程式碼等可驗證領域,什麼可以作為獎勵?
    • 僅學習獎勵模型
    • 答案是否正確或測試是否通過
    • 響應的長度
    • 生成的代幣數量
  3. 引用的論文描述了哪個模型系列在其對齊管道中使用拒絕採樣?
    • GPT-4o
    • BERT 基础
    • Meta 的 Llama 2 聊天
    • 耳语大号
  4. 對於某些任務,為什麼團隊會選擇拒絕抽樣微調而不是策略梯度方法?
    • 它永远不需要候选生成器或评分规则
    • 它保证没有奖励黑客
    • 它總是比每個 RL 方法需要更少的計算
    • 它可以對選定的世代使用監督學習,而不是透過策略梯度強化學習進行更新
  5. 對最大獎勵樣本進行有效訓練有什麼作用?
    • 將最好的 N 品質提取到模型的單樣本輸出中
    • 增加詞彙量
    • 刪除模型生成文字的能力
    • 將參數數量加倍
  6. 在對過濾後的模型產生的輸出進行反覆微調時,團隊應該監控什麼?
    • 僅模型參數的數量
    • 输出多样性和正确性
    • 每个答案是否使用相同的措辞
    • 仅选定样本的训练损失
  7. 拒絕抽樣微調候選選擇的限制是什麼?
    • 它只能與圖像標籤一起使用
    • 它总是改变标记器
    • 它無法訓練從未生成或保留的高品質答案
    • 它使得評分功能變得不必要
  8. 如果用於篩選候選人的評分模型有缺陷,會產生什麼風險?
    • 該策略無法生成任何文本
    • 分詞器自動改變詞彙
    • 參考標籤變得不必要
    • 該策略可能會學習利用記分器而不是提高預期質量