보상 모델링 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 주어진 프롬프트-응답 쌍에 대한 보상 모델의 기본 출력은 무엇입니까?
   • 단일 스칼라 점수
   • 전체 텍스트 응답
   • 어휘에 대한 확률 분포
   • 선호하는 토큰 목록
2. What feedback format did the InstructGPT paper collect to train its reward model?
   • A guaranteed correctness label for every possible answer
   • Human rankings of several model responses, converted into pairwise preferences
   • A single sentiment score for each training prompt
   • Only binary safety labels with no response comparisons
3. 표준 보상 모델 손실은 무엇을 최적화합니까?
   • 모든 응답의 절대적인 보상 가치
   • 다음 토큰 예측 정확도
   • 선택한 응답의 점수가 거부된 응답보다 높음
   • 응답 길이
4. '보상해킹'이란?
   • 경쟁사의 보상 모델을 훔치는 행위
   • 훈련 속도를 높이는 방법
   • 보상 신호 암호화
   • 진정한 품질 없이 높은 점수를 얻기 위해 보상 모델의 결함을 이용하는 정책
5. 보상 모델은 언어 모델에서 구조적으로 어떻게 파생됩니까?
   • 토큰 예측 헤드를 단일 스칼라 출력 헤드로 교체
   • 더 많은 관심 레이어를 추가하여
   • 모든 변압기 레이어를 제거하여
   • 어휘력을 두 배로 늘려서
6. N 베스트 샘플링에서 추론 시 보상 모델은 어떻게 사용됩니까?
   • N개의 보상 모델을 동시에 훈련
   • 여러 응답을 생성하고 보상 모델을 사용하여 가장 높은 점수를 얻은 응답 선택
   • N개의 가장 일반적인 토큰 선택
   • N 모델 체크포인트 평균화
7. Why might an RLHF study use an ensemble of reward models during training?
   • To guarantee that reward hacking is impossible
   • To replace the human preference data with exact correctness labels
   • To estimate disagreement or uncertainty across learned preference scorers
   • To ensure every candidate receives the same score
8. Why should reward-model evaluations include held-out comparisons?
   • To ensure training comparisons are never used
   • To make every output identical
   • To guarantee the reward is unbiased
   • To test whether preferences generalize beyond the training comparisons