Bài kiểm tra tinh chỉnh lấy mẫu từ chối

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
   • Tạo nhiều câu trả lời của ứng viên, giữ lại những câu trả lời có điểm cao nhất và đào tạo lại chúng
   • Xóa các lớp mô hình hoạt động kém nhất
   • Từ chối tất cả dữ liệu đào tạo và bắt đầu lại
   • Lấy mẫu một lần và luôn chấp nhận đầu ra
2. Trong các lĩnh vực có thể xác minh được như toán học hoặc mã, phần thưởng có thể là gì?
   • Chỉ một mô hình phần thưởng đã học
   • Liệu câu trả lời có đúng hay bài kiểm tra đã vượt qua
   • Độ dài của phản hồi
   • Số lượng token được tạo
3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
   • GPT-4o
   • BERT Base
   • Meta’s Llama 2-Chat
   • Whisper Large
4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
   • It never needs a candidate generator or scoring rule
   • It guarantees no reward hacking
   • It always requires less compute than every RL method
   • It can use supervised learning on selected generations instead of updating through policy-gradient RL
5. Đào tạo về các mẫu phần thưởng tối đa có hiệu quả gì?
   • Chắt lọc chất lượng tốt nhất của N vào đầu ra mẫu đơn của mô hình
   • Tăng kích thước từ vựng
   • Loại bỏ khả năng tạo văn bản của mô hình
   • Nhân đôi số lượng tham số
6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
   • Chỉ số lượng tham số mô hình
   • Output diversity alongside held-out correctness
   • Whether every answer uses the same wording
   • Only the training loss on selected samples
7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
   • It can only be used with image labels
   • It always changes the tokenizer
   • It cannot train on a high-quality answer that was never generated or retained
   • It makes the scoring function unnecessary
8. What risk arises if the scoring model used to filter candidates is flawed?
   • The policy becomes unable to generate any text
   • The tokenizer automatically changes vocabulary
   • The reference labels become unnecessary
   • The policy may learn to exploit the scorer rather than improve the intended quality