거부 샘플링 미세 조정
RFT(Rejection Sampling Fine-Tuning)는 많은 후보 답변을 생성하고 가장 높은 점수를 받은 답변만 유지하며 해당 우승자에 대해 모델을 재교육합니다.
개요
It matters because it offers much of RLHF's benefit using straightforward supervised learning instead of complex reinforcement learning.
심층 분석
Rejection Sampling Fine-Tuning(N 베스트 미세 조정이라고도 함)은 Meta의 Llama 2 및 Llama 3과 같은 모델을 정렬하는 방법의 핵심 요소입니다. 레시피는 간단합니다. 각 프롬프트에 대해 현재 모델에서 여러 응답(예: 4~64개)을 샘플링하고 보상 모델 또는 자동 검사기로 각 응답을 채점한 다음 최상위 출력을 제외한 모든 항목을 삭제('거부')합니다. 살아남은 고품질 샘플은 새로운 감독 미세 조정 데이터 세트가 되며, 모델은 일반적인 다음 토큰 손실을 통해 이에 대해 훈련됩니다. 이 루프를 반복하면 모델이 자체적으로 더 나은 답변을 생성하는 방향으로 반복적으로 이동합니다. 모델은 필터링된 자체 출력을 통해 학습하기 때문에 RFT는 보상 신호를 활용하면서 정책 그라데이션 RL의 불안정성과 튜닝 문제를 방지합니다.
기술적 통찰력
RFT는 여러 번 샘플링하고 최대 보상 응답을 유지하는 것이 날카롭고 고품질 분포에서 선택하는 것과 유사하다는 사실을 활용합니다. 표준 교차 엔트로피를 통해 이러한 승자에 대한 교육을 통해 N 베스트 동작을 모델의 단일 샘플 출력으로 효과적으로 추출할 수 있습니다. 수학이나 코드와 같은 검증 가능한 도메인의 경우 '보상'은 단순히 최종 답변이나 단위 테스트의 통과 여부일 수 있으므로 학습된 보상 모델의 필요성이 완전히 제거됩니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
거부 샘플링 미세 조정의 미래
RFT는 PPO 및 DPO와 같은 RL 방법 이전 또는 함께 사용되는 현대 사후 교육의 핵심입니다. 저렴한 추론과 강력한 자동 검증 기능을 통해 그 매력이 더욱 커지고 있습니다. 모델의 자체 생성 및 자체 확인 능력이 향상됨에 따라 반복 거부 샘플링은 합성 데이터 및 자체 개선 루프를 지원합니다. 검증 가능한 사고 사슬을 생성하는 추론 모델과의 긴밀한 통합과 모델 자체 출력에 대해 반복적으로 교육할 때 보상 해킹 및 다양성 붕괴를 방지하는 방법에 대한 지속적인 연구가 기대됩니다.
실제 구현
프롬프트당 여러 답변을 샘플링하고 가장 높은 보상 모델 점수를 유지한 다음 해당 항목에 대해 SFT를 수행하여 Llama 스타일 모델을 정렬합니다.
많은 솔루션을 생성하고 정확하고 확인 가능한 답에 도달하는 솔루션만 유지하여 수학 해결사를 개선합니다.
단위 테스트를 통과한 경우에만 후보가 유지된 후 훈련 데이터로 사용되는 코드 생성
다음 훈련 라운드를 위해 모델 자체 생성된 최상의 응답을 필터링하여 합성 명령 데이터 세트 구축
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Rejection Sampling Fine-Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
QLoRA 및 4비트 미세 조정
자주 묻는 질문
What is Rejection Sampling Fine-Tuning?
RFT(Rejection Sampling Fine-Tuning)는 많은 후보 답변을 생성하고 가장 높은 점수를 받은 답변만 유지하며 해당 우승자에 대해 모델을 재교육합니다. 복잡한 강화 학습 대신 간단한 지도 학습을 사용하여 RLHF의 많은 이점을 제공하기 때문에 중요합니다.
Rejection Sampling Fine-Tuning의 핵심 아이디어는 무엇입니까?
RFT는 여러 응답을 샘플링하고 최고 점수를 받은 응답으로 필터링한 다음 해당 우승자에 대한 모델을 미세 조정합니다.
수학이나 코드와 같은 검증 가능한 영역에서는 무엇이 보상이 될 수 있나요?
확인 가능한 작업의 경우 RFT는 학습된 보상 모델을 피하면서 정확한 정확성 또는 단위 테스트 통과를 사용할 수 있습니다.
정렬 중에 거부 샘플링을 사용한 것으로 유명한 모델군은 무엇입니까?
Meta에서는 Llama 2 및 Llama 3 모델에 대한 학습 후 레시피의 일부로 거부 샘플링을 사용하는 방법을 설명했습니다.
팀이 PPO와 같은 정책 그라데이션 RL보다 RFT를 선호하는 이유는 무엇입니까?
RFT는 필터링된 샘플에 대한 표준 다음 토큰 손실로 재교육하여 정책 그라데이션 방법의 조정 어려움과 불안정성을 피합니다.
최대 보상 샘플에 대한 훈련은 효과적으로 무엇을 합니까?
상위 필터링된 응답을 통해 학습함으로써 모델은 단일 세대에서 더 높은 품질의 동작을 내재화합니다.