Bài kiểm tra tối ưu hóa tùy chọn trực tiếp

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. DPO loại bỏ những gì so với RLHF truyền thống?
   • Mô hình khen thưởng riêng biệt và vòng học tập củng cố
   • Sự cần thiết của bất kỳ dữ liệu ưu tiên nào của con người
   • Mô hình ngôn ngữ được huấn luyện trước cơ sở
   • Việc sử dụng xác suất log
2. Một ví dụ đào tạo DPO bao gồm dữ liệu gì?
   • Lời nhắc và điểm thưởng bằng số
   • Lời nhắc có phản hồi được chọn và phản hồi bị từ chối
   • Một lời nhắc và một câu trả lời đúng
   • Chỉ đầu ra của mô hình phần thưởng
3. Mô hình tham chiếu đóng vai trò gì trong DPO?
   • Nó tạo ra các phản hồi bị từ chối
   • Nó ghi điểm phản hồi với phần thưởng rõ ràng
   • Đó là đường cơ sở cố định mà chính sách được đo lường để hạn chế sự trôi dạt
   • Nó thay thế dữ liệu đào tạo
4. How does the DPO loss use a labeled preference pair?
   • It regresses both responses to the same scalar target
   • It trains a separate value critic to predict token-level returns
   • It maximizes the rejected response without a reference
   • It increases the chosen response’s policy-versus-reference log-ratio relative to the rejected response
5. Thông số beta (nhiệt độ) trong DPO kiểm soát những gì?
   • Chính sách được giữ chặt chẽ như thế nào với mô hình tham chiếu
   • Tốc độ học tập của trình tối ưu hóa
   • Số cặp ưu tiên
   • Kích thước từ vựng
6. Which alignment objective can learn from binary feedback that an output is desirable or undesirable?
   • PPO, which requires a value critic for every label
   • KTO, a prospect-theoretic objective for binary desirability feedback
   • DARTS, which searches differentiable network cells
   • Beam search, which changes model weights from rankings
7. In a standard DPO preference example, which response is preferred?
   • The response with more tokens by definition
   • The response with the lowest reference likelihood
   • The response selected by the preference labeler for the given prompt
   • A random response unrelated to the prompt
8. In DPO, what expression serves as the implicit reward for a response, up to an input-dependent constant?
   • A separately trained scalar reward-model head
   • A human-written point score for each token
   • The average sequence length of preference data
   • Beta times the policy/reference log-probability ratio