Tiếp theoHướng dẫn tiếp theo
QLoRA và tinh chỉnh 4 bit
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Tinh chỉnh lấy mẫu từ chối
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Lặn sâu
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Triển khai trong thế giới thực
Căn chỉnh các mô hình kiểu Llama bằng cách lấy mẫu nhiều câu trả lời cho mỗi lời nhắc, giữ điểm mô hình phần thưởng cao nhất, sau đó là SFT trên các câu trả lời đó
Cải thiện trình giải toán bằng cách tạo ra nhiều lời giải và chỉ giữ lại những câu trả lời đúng, có thể kiểm tra được
Tạo mã trong đó các ứng viên chỉ được lưu giữ nếu họ vượt qua các bài kiểm tra đơn vị, sau đó được sử dụng làm dữ liệu đào tạo
Xây dựng tập dữ liệu hướng dẫn tổng hợp bằng cách lọc các phản hồi tự tạo tốt nhất của mô hình cho vòng đào tạo tiếp theo
Tương lai của tinh chỉnh lấy mẫu từ chối
RFT là trọng tâm của quá trình đào tạo sau hiện đại, thường được sử dụng trước hoặc cùng với các phương pháp RL như PPO và DPO. Sự hấp dẫn của nó ngày càng tăng nhờ khả năng suy luận rẻ và trình xác minh tự động mạnh mẽ: khi các mô hình trở nên tự tạo và tự kiểm tra tốt hơn, việc lấy mẫu từ chối lặp lại sẽ hỗ trợ các vòng lặp dữ liệu tổng hợp và tự cải tiến. Mong đợi sự tích hợp chặt chẽ hơn với các mô hình lý luận tạo ra chuỗi suy nghĩ có thể kiểm chứng được và nghiên cứu liên tục về cách tránh bị hack phần thưởng và sụp đổ tính đa dạng khi đào tạo liên tục về kết quả đầu ra của chính mô hình.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Rejection Sampling Fine-Tuning quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Rejection Sampling Fine-Tuning?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Which loop best describes how Rejection Sampling Fine-Tuning improves a model?
RFT lấy mẫu nhiều câu trả lời, lọc ra những câu trả lời có điểm cao nhất và tinh chỉnh mô hình dựa trên những câu trả lời chiến thắng đó.
Trong các lĩnh vực có thể xác minh được như toán học hoặc mã, phần thưởng có thể là gì?
Đối với các nhiệm vụ có thể kiểm tra, RFT có thể sử dụng độ chính xác chính xác hoặc vượt qua các bài kiểm tra đơn vị, tránh mô hình phần thưởng đã học.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
Đào tạo về các mẫu phần thưởng tối đa có hiệu quả gì?
Bằng cách học hỏi từ các phản hồi được lọc hàng đầu, mô hình sẽ tiếp thu hành vi chất lượng cao hơn trong một thế hệ.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này