선호도 최적화 퀴즈의 길이 정규화

퀴즈를 풀면 정답과 설명이 나타납니다.

1. DPO의 길이 정규화는 주로 어떤 바람직하지 않은 동작을 방지하는 것을 목표로 합니까?
   • 실제 품질에 관계없이 더 긴 응답을 선호하는 모델
   • 질문에 대답을 거부하는 모델들
   • 사실을 환각시키는 모델
   • 모델의 반응 속도가 너무 느림
2. 표준 DPO의 암시적 보상이 응답 길이에 따라 증가하는 경향이 있는 이유는 무엇입니까?
   • 보상에 온도를 곱합니다.
   • 토큰별 로그 확률 차이의 합입니다.
   • 문장당 고정 보너스를 사용합니다.
   • 명시적으로 짧은 답변에 불이익을 줍니다.
3. SimPO는 길이 편향을 어떻게 해결합니까?
   • 참조 모델의 무게를 두 배로 늘립니다.
   • 모든 응답을 고정 길이로 자릅니다.
   • 보상으로 토큰당 평균 로그 확률을 사용합니다.
   • 기본 설정 데이터를 완전히 제거합니다.
4. SimPO와 표준 DPO 사이의 주목할만한 구조적 차이점은 SimPO입니다.
   • 두 배의 훈련 데이터가 필요함
   • 이미지에서만 작동합니다.
   • 경사하강법을 비활성화합니다.
   • 별도의 참조 모델을 사용하지 않습니다.
5. 단순히 길이가 아닌 품질이 향상된 모델을 확인하는 데 도움이 되는 평가 방식은 무엇인가요?
   • 기간에 따른 승률 보고
   • 총 매개변수 계산
   • GPU 온도 측정
   • 배치 크기 늘리기
6. Which chat-based benchmarks did the SimPO paper use in its reported evaluations?
   • ImageNet, COCO, and GLUE
   • AlpacaEval 2, MT-Bench, and Arena-Hard
   • LibriSpeech, WER, and BLEU
   • MMLU, GSM8K, and HumanEval only
7. What does SimPO’s target reward margin encourage between a preferred and rejected response?
   • Identical scores for both responses
   • A longer preferred response regardless of quality
   • A larger score difference in favor of the preferred response
   • A new reference model for every token
8. What risk can overly aggressive length normalization create?
   • It guarantees all answers have the same factual accuracy
   • It makes the reference model’s vocabulary larger
   • It prevents evaluators from comparing responses
   • It can favor answers that are too terse to include necessary detail