가이드 연계 퀴즈 · 중간 레벨

승산비 선호도 최적화 퀴즈

ORPO의 참조 모델 없는 선호 목표, 승산비 페널티, 감독 및 선호 훈련 결합에 대해 설명합니다.

관련 가이드 경로승산비 선호도 최적화
질문 1 의 8

DPO와 같은 방법에 비해 ORPO의 주요 실제 이점은 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. DPO와 같은 방법에 비해 ORPO의 주요 실제 이점은 무엇입니까?
    • 별도의 참조 모델이 필요하지 않습니다.
    • 학습 데이터가 전혀 필요하지 않습니다.
    • 이미지 모델에서만 작동합니다.
    • 환각 제로를 보장합니다
  2. ORPO의 '승산비'는 무엇을 비교합니까?
    • 훈련 속도 대 정확도
    • 선택한 응답과 거부된 응답의 확률
    • 두 가지 학습 속도
    • 모델 크기와 데이터 세트 크기
  3. What form does an ORPO preference example contain?
    • Only a single unlabeled response
    • A prompt with two identical completions
    • A prompt with one chosen response and one disfavored response
    • A reward score with no associated responses
  4. How does ORPO convert a response probability p into odds?
    • One minus p divided by p
    • The square root of p
    • The logarithm of the prompt length
    • p divided by one minus p
  5. ORPO 손실은 다음 중 어떤 조합으로 가장 잘 설명됩니까?
    • SFT 교차 엔트로피와 가중 승산비 선호 항
    • 보상 모델 점수만
    • 순수한 강화 학습 반환
    • 무작위 노이즈 주입
  6. Which response receives the supervised fine-tuning component of ORPO?
    • Only the rejected response
    • The chosen or preferred response
    • A response sampled after deployment
    • No response; ORPO has no language-modeling term
  7. Which parameter controls the weight of ORPO’s preference term relative to the supervised loss?
    • 토크나이저 어휘 크기
    • 주의 헤드 수
    • The preference-loss coefficient
    • The prompt’s character count
  8. Why should an ORPO result report its preference data and evaluation setup?
    • ORPO results are identical across datasets
    • The objective removes the need for evaluation
    • The number of model layers determines every preference
    • Outcomes depend on the dataset, coefficient, base model, and evaluation