SelanjutnyaPanduan berikutnya
Normalisasi Panjang dalam Optimasi Preferensi
Dasar-dasar
PANDUAN Dasar
Normalisasi Hadiah yang Dikelompokkan di RLHF
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Menyelam Lebih Dalam
DeepSeekMath introduced Group Relative Policy Optimization (GRPO) for language-model reinforcement learning. For each prompt, the policy samples a group of responses and computes rewards. Each response’s advantage is based on its reward relative to the group mean and, in the original outcome-supervision formulation, the group standard deviation. The group statistic replaces the separate learned value-model baseline used in PPO. DeepSeekMath applied GRPO to mathematical reasoning with verifiable rewards; the method is not limited to human-preference RLHF. When all responses receive the same reward, centering gives no relative advantage, and a zero standard deviation requires numerical handling in implementations.
Implementasi Dunia Nyata
Comparing several candidate math solutions from one prompt using a verifier score
Using code-test results to rank responses generated for the same coding prompt
Inspecting how a reward model’s scores vary within one prompt group
Reducing memory use in a PPO-style language-model update by omitting a separate value network
Masa Depan Normalisasi Penghargaan Berkelompok di RLHF
Grouped policy optimization is used in work on verifiable-reward reasoning, but its behavior depends on group sampling, reward functions, normalization choices, and implementation details. Research continues on reward diversity, process supervision, and stability. Evaluation should distinguish memory savings from improvements in reasoning quality.
Mempraktikkannya
Mengapa itu penting
- Keputusan yang lebih jelas. Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
- Biaya dan anggaran. Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
- Tim dan alur kerja. Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Hati-hati
- Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
- Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
- Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Langkah selanjutnya
- Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
- Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
- Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
- Dokumentasikan di mana Normalisasi Imbalan yang Dikelompokkan di RLHF membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Grouped Reward Normalization in RLHF quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Grouped Reward Normalization in RLHF?
Grouped reward normalization expresses each sampled response’s reward relative to other responses for the same prompt. DeepSeek introduced this mechanism in Group Relative Policy Optimization (GRPO), a PPO variant that omits a separate value-model critic. It provides a relative training signal, but does not guarantee that prompt difficulty or reward scale is fully corrected.
Dalam normalisasi imbalan berkelompok, dengan apa imbalan masing-masing respons dibandingkan?
Setiap hadiah diubah menjadi skor-z menggunakan mean dan deviasi standar dari kelompok respons terhadap perintah yang sama.
Algoritme mana yang paling banyak dikaitkan dengan normalisasi imbalan berkelompok?
GRPO, diperkenalkan oleh DeepSeek dan digunakan di DeepSeek-R1, dibangun dengan menormalisasi imbalan dalam grup.
Komponen PPO standar apa yang dihilangkan oleh GRPO?
Dengan menggunakan rata-rata grup sebagai dasar, GRPO menghilangkan kritik yang dipelajari, sehingga menghemat memori dan komputasi.
Apa yang terjadi pada respons yang imbalannya berada di bawah rata-rata kelompoknya?
Mengurangi rata-rata kelompok akan membuat tanggapan yang berada di bawah rata-rata mempunyai keuntungan negatif, sehingga menjauhkan kebijakan tersebut dari tanggapan mereka.
What does within-prompt reward normalization provide to a GRPO update?
Group normalization supplies relative advantages among responses to one prompt and scales them by the group spread; it does not guarantee that all prompt-specific differences vanish.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini