Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra lấy mẫu và xếp hạng lại tốt nhất
Hiểu lựa chọn tốt nhất trong N, các giới hạn của người chấm điểm, chi phí thời gian suy luận và các giả định về xác suất đằng sau việc lấy mẫu nhiều ứng viên hơn.
Câu hỏi 1 của 8
Ý tưởng cốt lõi của việc lấy mẫu best-of-N là gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Ý tưởng cốt lõi của việc lấy mẫu best-of-N là gì?
- Tạo N kết quả đầu ra của ứng cử viên và chọn kết quả tốt nhất có người ghi điểm
- Huấn luyện mô hình N lần và tính trọng số trung bình
- Chỉ sử dụng đầu ra đầu tiên mà mô hình tạo ra
- Giảm từ vựng xuống N token
- When is best-of-N most likely to help?
- When every output is equally good
- When the model sometimes samples a correct candidate and a reliable verifier can identify it
- When the task has no way to assess candidates
- When sampling is disabled
- Điều gì quyết định phần lớn liệu best-of-N có thực sự cải thiện kết quả hay không?
- Màu sắc của giao diện người dùng
- Chỉ độ dài của lời nhắc
- Chất lượng và độ tin cậy của người ghi điểm hoặc người xác minh
- Kích thước từ vựng của mô hình
- What can happen when N becomes large and the reward model is an imperfect proxy?
- The model’s tokenizer is removed
- The model forgets its training weights
- All candidates become identical
- Selection can favor outputs that exploit scorer errors and reduce true quality
- Chiến lược sắp xếp lại đơn giản nào còn được gọi là tự nhất quán?
- Bỏ phiếu đa số trong số các câu trả lời mẫu
- Chọn câu trả lời dài nhất
- Chọn mẫu ngẫu nhiên
- Luôn lấy đầu ra có xác suất thấp nhất
- What mainly drives the generation cost of best-of-N?
- Only the number of vocabulary entries
- The total amount of text generated across the sampled candidates
- The user interface color
- The number of model training runs
- If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
- p/N
- N−p
- 1−(1−p)^N
- 1−p^N
- Which assumption is needed for the simple 1−(1−p)^N success formula?
- Every response has a different length
- The model is retrained after each sample
- The reward model has no parameters
- The candidate samples are independent and the verifier recognizes success perfectly