語言人工智慧指南

拒絕採樣微調

Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 拒絕採樣微調的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.

深入探討

A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.

現實世界的實施

透過對每個提示採樣多個答案來調整 Llama 風格的模型,保持最高的獎勵模型分數,然後對這些答案進行 SFT

透過產生許多解決方案並僅保留那些達到正確、可檢查答案的解決方案來改進數學求解器

程式碼生成,僅當候選人通過單元測試時才保留候選人,然後用作訓練數據

透過過濾模型本身的最佳自生成響應來建立合成指令資料集以用於下一輪訓練

拒絕採樣微調的未來

RFT 是現代後訓練的核心,通常在 PPO 和 DPO 等 RL 方法之前或與它一起使用。它的吸引力隨著廉價的推理和強大的自動驗證器而增長:隨著模型在自我生成和自我檢查方面變得更好,迭代拒絕採樣支持合成數據和自我改進循環。期望與推理模型更緊密地集成,產生可驗證的思想鏈,並持續研究如何在對模型自己的輸出進行重複訓練時避免獎勵黑客和多樣性崩潰。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Rejection Sampling Fine-Tuning quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是拒絕採樣微調?

Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.

哪個循環最能描述拒絕採樣微調如何改進模型?

RFT 對多個回應進行取樣,篩選出得分最高的反應,並對這些獲勝者的模型進行微調。

在數學或程式碼等可驗證領域,什麼可以作為獎勵?

對於可檢查的任務,RFT 可以使用精確的正確性或通過單元測試,從而避免學習獎勵模型。

引用的論文描述了哪個模型系列在其對齊管道中使用拒絕採樣?

Llama 2 論文將拒絕採樣描述為 Llama 2-Chat 對齊管道的一個階段。

對於某些任務,為什麼團隊會選擇拒絕抽樣微調而不是策略梯度方法?

RFT 使用產生和過濾的範例進行監督更新,儘管生成、評分和資料品質仍然會產生成本。

對最大獎勵樣本進行有效訓練有什麼作用?

透過從最過濾的回應中學習,該模型在一代中內化了更高品質的行為。