보상 모델링
보상 모델은 AI 반응이 얼마나 좋은지 예측하도록 훈련된 신경망으로, 인간 판단을 위한 자동화된 대리인 역할을 합니다.
개요
It is the scoring engine that makes reinforcement learning from human feedback possible at scale.
심층 분석
보상 모델링은 실제 문제를 해결합니다. 인간은 훈련 중에 모델이 생성하는 수백만 개의 출력을 모두 평가할 수 없습니다. 대신 라벨러는 작은 응답 집합을 비교하여 일반적으로 동일한 프롬프트에 대한 두 가지 답변 중 어느 것이 더 나은지 선택합니다. 그런 다음 이러한 비교에 대해 보상 모델을 훈련하여 프롬프트-응답 쌍에 대한 단일 스칼라 점수를 출력합니다. 표준 훈련 목표는 Bradley-Terry 모델로, 쌍별 선호도를 하나의 응답이 다른 응답보다 우수한 확률로 변환합니다. 일단 훈련되면 이 보상 모델은 무제한의 새로운 출력을 저렴하게 평가하여 PPO와 같은 알고리즘이 언어 모델을 개선하는 데 사용하는 신호를 제공할 수 있습니다. 보상 모델은 또한 많은 후보가 생성되고 가장 높은 점수를 받은 후보가 반환되는 N개 최고 샘플링을 위해 추론 시 재사용됩니다.
기술적 통찰력
보상 모델은 일반적으로 토큰 예측 헤드가 하나의 스칼라를 방출하는 단일 선형 레이어로 대체된 기본 언어 모델입니다. 훈련은 선택된 응답의 점수가 거부된 응답보다 높은 로그 가능성을 최대화합니다: loss = -log(sigmoid(r_chosen - r_rejected)). 상대적인 차이만 중요하므로 절대적인 규모는 임의적입니다. 품질은 라벨 일관성과 광범위한 응답 스타일 범위에 따라 달라집니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
보상 모델링의 미래
연구에서는 보상 모델의 가장 큰 약점을 다루고 있습니다. '해킹'될 수 있으며(모델은 길이를 선호하는 것과 같은 특이한 점을 이용) 정책이 개선됨에 따라 분포에서 벗어나게 됩니다. 유망한 방향에는 각 추론 단계에 점수를 매기는 프로세스 보상 모델, 해킹에 저항하기 위한 앙상블 및 불확실성 추정, AI 생성 선호 라벨(RLAIF), 단순한 숫자가 아닌 비평과 근거를 생성하는 생성 보상 모델이 포함됩니다.
실제 구현
PPO 교육 중 후보자 응답에 점수를 매겨 ChatGPT 및 Claude와 같은 보조자를 위한 RLHF 지원
모델이 많은 답변을 생성하고 보상 모델이 사용자에게 가장 적합한 답변을 선택하는 Best of N 샘플링
문제 해결을 개선하기 위해 중간 추론 단계에 점수를 매기는 수학 및 코딩 '검증기' 또는 프로세스 보상 모델
추가 미세 조정을 위해 높은 점수를 받은 세대만 유지하면서 합성 훈련 데이터의 순위를 매기고 필터링합니다.
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reward Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
Bradley-Terry 보상 모델링
자주 묻는 질문
What is Reward Modeling?
보상 모델은 AI 반응이 얼마나 좋은지 예측하도록 훈련된 신경망으로, 인간 판단을 위한 자동화된 대리인 역할을 합니다. 인간의 피드백을 바탕으로 강화 학습을 대규모로 가능하게 만드는 것은 채점 엔진입니다.
주어진 프롬프트-응답 쌍에 대한 보상 모델의 기본 출력은 무엇입니까?
보상 모델은 예측된 품질 또는 인간 선호도를 나타내는 하나의 스칼라 숫자에 프롬프트와 응답을 매핑합니다.
보상 모델을 훈련하는 데 가장 일반적으로 사용되는 인간 데이터는 무엇입니까?
라벨링 담당자는 일반적으로 동일한 프롬프트에 대한 두 가지 응답을 비교하고 더 나은 응답을 선택합니다. Bradley-Terry 모델은 이를 스칼라 보상으로 변환합니다.
표준 보상 모델 손실은 무엇을 최적화합니까?
Bradley-Terry 손실 -log(sigmoid(r_chosen - r_rejected))는 상대적 순서에만 관심이 있으므로 절대 규모는 임의적입니다.
'보상해킹'이란?
보상 해킹은 불완전한 보상 모델에서는 높은 평가를 받았지만 인간은 그렇지 않은 지름길(예: 과도한 길이 또는 칭찬)을 모델이 발견할 때 발생합니다.
보상 모델은 언어 모델에서 구조적으로 어떻게 파생됩니까?
보상 모델은 일반적으로 LM 백본을 재사용하지만 최종 레이어를 단일 스칼라 보상을 출력하는 레이어로 교체합니다.