직접 선호도 최적화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 기존 RLHF에 비해 DPO는 무엇을 제거합니까?
   • 별도의 보상 모델 및 강화 학습 루프
   • 인간의 선호도 데이터의 필요성
   • 기본 사전 학습된 언어 모델
   • 로그 확률의 사용
2. 단일 DPO 교육 예시는 어떤 데이터로 구성됩니까?
   • 프롬프트 및 숫자 보상 점수
   • 선택한 응답과 거부된 응답이 포함된 프롬프트
   • 프롬프트와 하나의 정답
   • 보상 모델의 출력만
3. DPO에서 참조 모델은 어떤 역할을 합니까?
   • 거부된 응답을 생성합니다.
   • 명시적인 보상으로 응답에 점수를 매깁니다.
   • 드리프트를 제한하기 위해 정책을 측정하는 고정된 기준선입니다.
   • 훈련 데이터를 대체합니다.
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. DPO의 베타(온도) 매개변수는 무엇을 제어합니까?
   • 정책이 참조 모델에 얼마나 가깝게 유지되는지
   • 옵티마이저의 학습률
   • 선호쌍의 수
   • 어휘 크기
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio