Lấy mẫu và xếp hạng lại tốt nhất
Lấy mẫu tốt nhất trong N tạo ra một số câu trả lời ứng viên từ một mô hình và sau đó chọn câu trả lời tốt nhất bằng cách sử dụng một bước tính điểm riêng.
Tổng quan
Đây là một trong những cách đơn giản và đáng tin cậy nhất để đổi thêm tính toán vào thời điểm suy luận lấy chất lượng câu trả lời cao hơn.
Lặn sâu
Một mô hình ngôn ngữ có tính năng lấy mẫu sẽ tạo ra các kết quả đầu ra khác nhau mỗi lần bạn chạy nó. Best-of-N khai thác điều này: bạn rút ra N câu trả lời của ứng viên, sau đó xếp hạng lại chúng và trả về câu trả lời hàng đầu. Trình xếp hạng lại có thể là một mô hình phần thưởng đã học được (phổ biến trong việc học tăng cường từ phản hồi của con người), một trình xác minh để kiểm tra tính chính xác hoặc một thỏa thuận trả lời giống như phỏng đoán đơn giản thông qua biểu quyết đa số. Bởi vì mô hình chỉ cần một lần thử tốt trong số nhiều lần thử, chất lượng thường tăng mạnh khi N tăng lên, đặc biệt là đối với các tác vụ lập luận và viết mã trong đó tồn tại một đường dẫn chính xác nhưng không phải lúc nào cũng là mẫu đầu tiên. Chi phí là tuyến tính theo N và cuối cùng đạt được mức ổn định hoặc thậm chí đảo ngược nếu người ghi điểm không hoàn hảo, một chế độ thất bại được gọi là hack phần thưởng hoặc tối ưu hóa phần thưởng quá mức.
Hiểu biết kỹ thuật
Chất lượng của Best-of-N phụ thuộc hoàn toàn vào người ghi bàn. Với một trình xác minh hoàn hảo, độ chính xác đạt đến khả năng có ít nhất một trong N mẫu đúng, tỷ lệ này tăng nhanh với N. Với mô hình phần thưởng ồn ào, việc lựa chọn có thể bị đánh lừa: đẩy N lên rất cao sẽ khuếch đại đầu ra có điểm cao nhưng thực tế lại sai, vì bạn đang tối ưu hóa các điểm mù của người ghi điểm. Đây là lý do tại sao các mô hình phần thưởng mạnh mẽ, được hiệu chỉnh lại quan trọng để hệ thống tiếp tục mang lại hiệu quả.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của việc lấy mẫu và xếp hạng lại Best-of-N
Best-of-N đang trở thành một khối xây dựng cốt lõi của việc mở rộng quy mô thời gian suy luận, cùng với chuỗi suy nghĩ và tìm kiếm dạng cây. Mong đợi các biến thể thông minh hơn: bỏ phiếu theo đa số có trọng số, mô hình khen thưởng quy trình chấm điểm từng bước suy luận và N thích ứng dừng lấy mẫu khi độ tin cậy cao. Khi các trình xác minh được cải thiện, đặc biệt là đối với mã và toán học, nơi có thể kiểm tra tính chính xác, việc xếp hạng lại nhiều mẫu sẽ là một cách tiêu chuẩn để chuyển đổi điện toán dự phòng thành độ tin cậy mà không cần đào tạo lại mô hình cơ sở.
Triển khai trong thế giới thực
Lấy mẫu 64 lời giải cho một bài toán và chọn ra câu trả lời được nhiều mẫu nhất trí (tự thống nhất/bỏ phiếu theo đa số).
Tạo nhiều lần hoàn thành mã và giữ lại mã vượt qua nhiều bài kiểm tra đơn vị nhất dưới dạng trình xác minh tự động.
Vẽ một số câu trả lời trong quy trình RLHF và chọn câu trả lời có điểm thưởng cao nhất theo mô hình để phân phát cho người dùng.
Tạo một số bản tóm tắt dự thảo và sắp xếp lại chúng theo một mô hình chất lượng để đưa ra bản tóm tắt trung thực, ngắn gọn nhất.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Best-of-N Sampling and Reranking quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Nhiệt độ và lấy mẫu
Câu hỏi thường gặp
Lấy mẫu và xếp hạng lại Best-of-N là gì?
Lấy mẫu tốt nhất trong N tạo ra một số câu trả lời ứng viên từ một mô hình và sau đó chọn câu trả lời tốt nhất bằng cách sử dụng một bước tính điểm riêng. Đây là một trong những cách đơn giản, đáng tin cậy nhất để trao đổi tính toán bổ sung tại thời điểm suy luận để có chất lượng câu trả lời cao hơn.
Ý tưởng cốt lõi của việc lấy mẫu best-of-N là gì?
Best-of-N rút ra nhiều câu trả lời của ứng viên rồi sắp xếp lại chúng, trả về câu trả lời có điểm cao nhất.
Best-of-N có xu hướng trợ giúp những loại nhiệm vụ nào nhiều nhất?
Khi có một câu trả lời đúng có thể kiểm chứng mà đôi khi mô hình chỉ tìm thấy, việc lấy mẫu nhiều ứng viên hơn sẽ làm tăng cơ hội trả lời đúng.
Điều gì quyết định phần lớn liệu best-of-N có thực sự cải thiện kết quả hay không?
Sự lựa chọn chỉ tốt khi người xếp hạng lại; người ghi điểm yếu hoặc thiên vị có thể chọn câu trả lời sai.
Chế độ thất bại nào có thể xuất hiện khi N được đẩy lên rất cao với mô hình phần thưởng không hoàn hảo?
Việc tối ưu hóa mạnh mẽ để chống lại một trình ghi điểm thiếu sót sẽ khuếch đại kết quả đầu ra khai thác các điểm mù của nó, do đó độ chính xác có thể ổn định hoặc giảm xuống.
Chiến lược sắp xếp lại đơn giản nào còn được gọi là tự nhất quán?
Sự tự thống nhất lấy mẫu nhiều chuỗi lý luận và chọn ra câu trả lời cuối cùng mà hầu hết các chuỗi đều đồng ý.