거부 샘플링 미세 조정 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
   • 많은 후보 답변을 생성하고 가장 높은 점수를 받은 답변을 유지하고 이에 대한 재교육
   • 성능이 가장 낮은 모델 레이어 삭제
   • 모든 훈련 데이터를 거부하고 다시 시작하세요
   • 한 번 샘플링하고 항상 출력을 수락합니다.
2. 수학이나 코드와 같은 검증 가능한 영역에서는 무엇이 보상이 될 수 있나요?
   • 학습된 보상 모델만
   • 답이 맞는지 또는 테스트가 통과하는지 여부
   • 응답의 길이
   • 생성된 토큰 수
3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
   • GPT-4o
   • BERT Base
   • Meta’s Llama 2-Chat
   • Whisper Large
4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
   • It never needs a candidate generator or scoring rule
   • It guarantees no reward hacking
   • It always requires less compute than every RL method
   • It can use supervised learning on selected generations instead of updating through policy-gradient RL
5. 최대 보상 샘플에 대한 훈련은 효과적으로 무엇을 합니까?
   • N 최고의 품질을 모델의 단일 샘플 출력으로 추출합니다.
   • 어휘력이 늘어납니다
   • 모델의 텍스트 생성 기능을 제거합니다.
   • 매개변수 수를 두 배로 늘립니다.
6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
   • Only the number of model parameters
   • Output diversity alongside held-out correctness
   • Whether every answer uses the same wording
   • Only the training loss on selected samples
7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
   • It can only be used with image labels
   • It always changes the tokenizer
   • It cannot train on a high-quality answer that was never generated or retained
   • It makes the scoring function unnecessary
8. What risk arises if the scoring model used to filter candidates is flawed?
   • The policy becomes unable to generate any text
   • The tokenizer automatically changes vocabulary
   • The reference labels become unnecessary
   • The policy may learn to exploit the scorer rather than improve the intended quality