SelanjutnyaPanduan berikutnya
QLoRA dan Penyempurnaan 4-Bit
Bahasa AI
PANDUAN AI Bahasa
Penyempurnaan Pengambilan Sampel Penolakan
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Menyelam Lebih Dalam
A rejection-sampling fine-tuning loop prompts a policy to generate multiple candidates, scores them with a reward model or task-specific verifier, and retains examples meeting a selection rule. The model is then fine-tuned with supervised learning on selected responses. In verifiable tasks, tests or exact-answer checks can provide a reward; open-ended tasks often rely on learned preference scores. Llama 2-Chat’s paper describes rejection sampling as one stage of its alignment pipeline. RFT can transfer best-of-N behavior into a model, but cannot select answers absent from the candidate pool and may overfit or exploit an imperfect scorer. It is not equivalent to every RLHF recipe and does not guarantee higher quality or diversity.
Implementasi Dunia Nyata
Menyelaraskan model gaya Llama dengan mengambil sampel beberapa jawaban per pertanyaan, mempertahankan skor model penghargaan tertinggi, lalu SFT pada model tersebut
Meningkatkan pemecah matematika dengan menghasilkan banyak solusi dan hanya mempertahankan solusi yang menghasilkan jawaban yang benar dan dapat diperiksa
Pembuatan kode di mana kandidat disimpan hanya jika mereka lulus pengujian unit, kemudian digunakan sebagai data pelatihan
Membangun kumpulan data instruksi sintetik dengan memfilter respons terbaik yang dihasilkan sendiri oleh model untuk putaran pelatihan berikutnya
Masa Depan Penyempurnaan Pengambilan Sampel Penolakan
RFT sangat penting dalam pasca-pelatihan modern, sering kali digunakan sebelum atau bersamaan dengan metode RL seperti PPO dan DPO. Daya tariknya tumbuh dengan inferensi yang murah dan pemverifikasi otomatis yang kuat: seiring dengan semakin baiknya model dalam menghasilkan dan memeriksa sendiri, pengambilan sampel penolakan berulang mendukung data sintetis dan loop perbaikan diri. Harapkan integrasi yang lebih erat dengan model penalaran yang menghasilkan rantai pemikiran yang dapat diverifikasi, dan studi berkelanjutan tentang cara menghindari peretasan penghargaan dan runtuhnya keberagaman ketika melatih berulang kali tentang keluaran model itu sendiri.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
- Akses dan jangkauan. Ini memperluas akses lintas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Hati-hati
- Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
- Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
- Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Langkah selanjutnya
- Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
- Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
- Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
- Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Rejection Sampling Fine-Tuning quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Rejection Sampling Fine-Tuning?
Rejection-sampling fine-tuning generates candidate responses, filters them with a reward model or verifier, and uses selected examples for supervised training. It can be simpler than policy-gradient optimization, but quality depends on the candidate pool and scorer.
Loop manakah yang paling tepat menggambarkan bagaimana Penyempurnaan Pengambilan Sampel Penolakan meningkatkan model?
RFT mengambil sampel beberapa respons, memfilter ke respons dengan skor tertinggi, dan menyempurnakan model pada pemenang tersebut.
Dalam domain yang dapat diverifikasi seperti matematika atau kode, apa yang bisa menjadi imbalannya?
Untuk tugas yang dapat diperiksa, RFT dapat menggunakan kebenaran yang tepat atau pengujian unit yang lulus, menghindari model penghargaan yang dipelajari.
Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
The Llama 2 paper describes rejection sampling as one stage of the Llama 2-Chat alignment pipeline.
Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
RFT uses generated and filtered examples for supervised updates, though generation, scoring, and data quality still incur costs.
Pelatihan tentang sampel dengan imbalan maksimum secara efektif menghasilkan apa?
Dengan belajar dari respons yang difilter paling atas, model ini menginternalisasikan perilaku berkualitas lebih tinggi dalam satu generasi.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini