Tiếp theoHướng dẫn tiếp theo
Nhiệt độ và lấy mẫu
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Best-of-N is an inference-time selection method: sample multiple outputs and use a scorer or verifier to choose one.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
It can improve results when the model sometimes produces a good candidate and the scorer identifies it reliably. More samples cost more generation and can amplify errors in an imperfect scorer.
Best-of-N samples N candidate responses from a model and returns the one with the highest score under a reward model, verifier, or heuristic. Self-consistency is a special case that aggregates final answers by majority vote. If each independent sample has probability p of success and a perfect verifier can recognize success, the chance at least one candidate is correct is 1−(1−p)^N. Real outputs are not necessarily independent and real scorers are imperfect. Research on reward-model overoptimization finds that optimizing against a proxy can eventually reduce gold-standard performance, including in best-of-N selection.
Sampling several math solutions and selecting one that passes a verifier
Generating code candidates and ranking them with unit-test results
Using majority vote when multiple reasoning chains reach the same answer
Comparing quality gains against the additional generated tokens and scorer cost
Inference-time scaling research studies adaptive sample counts, verifiers, and reward-model calibration. The right N depends on the task, sample quality, scorer reliability, and compute budget. Evaluations should report both the selected-answer metric and the added generation/scoring cost.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Best-of-N is an inference-time selection method: sample multiple outputs and use a scorer or verifier to choose one. It can improve results when the model sometimes produces a good candidate and the scorer identifies it reliably. More samples cost more generation and can amplify errors in an imperfect scorer.
Best-of-N rút ra nhiều câu trả lời của ứng viên rồi sắp xếp lại chúng, trả về câu trả lời có điểm cao nhất.
More candidates help only if a good answer sometimes appears and the scorer can recognize it; neither condition is guaranteed.
Sự lựa chọn chỉ tốt khi người xếp hạng lại; người ghi điểm yếu hoặc thiên vị có thể chọn câu trả lời sai.
Research measures reward-model overoptimization in best-of-N: selecting extreme proxy scores can eventually lower gold-reward performance.
Sự tự thống nhất lấy mẫu nhiều chuỗi lý luận và chọn ra câu trả lời cuối cùng mà hầu hết các chuỗi đều đồng ý.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Nhiệt độ và lấy mẫu
Ngôn ngữ AI