개요
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
심층 분석
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
거부 샘플링 미세 조정의 미래
RFT는 PPO 및 DPO와 같은 RL 방법 이전 또는 함께 사용되는 현대 사후 교육의 핵심입니다. 저렴한 추론과 강력한 자동 검증 기능을 통해 그 매력이 더욱 커지고 있습니다. 모델의 자체 생성 및 자체 확인 능력이 향상됨에 따라 반복 거부 샘플링은 합성 데이터 및 자체 개선 루프를 지원합니다. 검증 가능한 사고 사슬을 생성하는 추론 모델과의 긴밀한 통합과 모델 자체 출력에 대해 반복적으로 교육할 때 보상 해킹 및 다양성 붕괴를 방지하는 방법에 대한 지속적인 연구가 기대됩니다.
실제 구현
프롬프트당 여러 답변을 샘플링하고 가장 높은 보상 모델 점수를 유지한 다음 해당 항목에 대해 SFT를 수행하여 Llama 스타일 모델을 정렬합니다.
많은 솔루션을 생성하고 정확하고 확인 가능한 답에 도달하는 솔루션만 유지하여 수학 해결사를 개선합니다.
단위 테스트를 통과한 경우에만 후보가 유지된 후 훈련 데이터로 사용되는 코드 생성
다음 훈련 라운드를 위해 모델 자체 생성된 최상의 응답을 필터링하여 합성 명령 데이터 세트 구축
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rejection Sampling Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
자주 묻는 질문
What is Rejection Sampling Fine-Tuning?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
RFT는 여러 응답을 샘플링하고 최고 점수를 받은 응답으로 필터링한 다음 해당 우승자에 대한 모델을 미세 조정합니다.
수학이나 코드와 같은 검증 가능한 영역에서는 무엇이 보상이 될 수 있나요?
확인 가능한 작업의 경우 RFT는 학습된 보상 모델을 피하면서 정확한 정확성 또는 단위 테스트 통과를 사용할 수 있습니다.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
최대 보상 샘플에 대한 훈련은 효과적으로 무엇을 합니까?
상위 필터링된 응답을 통해 학습함으로써 모델은 단일 세대에서 더 높은 품질의 동작을 내재화합니다.
계속 학습하세요
관련 가이드
이 주제에 대해 선택된 추가 가이드