Normalisasi Hadiah yang Dikelompokkan di RLHF
Normalisasi imbalan yang dikelompokkan menstandarkan imbalan model dalam kumpulan respons terhadap permintaan yang sama, mengubah skor yang bermasalah menjadi sinyal pelatihan yang stabil.
Ikhtisar
It is the core trick behind GRPO, the algorithm that powers many modern reasoning models.
Menyelam Lebih Dalam
Dalam pembelajaran penguatan dari umpan balik manusia (RLHF), sebuah model menghasilkan respons dan model penghargaan memberi nilai pada respons tersebut, namun imbalan mentah bersifat berisik dan sangat bervariasi antar permintaan. Normalisasi imbalan yang dikelompokkan memperbaikinya dengan mengambil sampel sekelompok beberapa respons terhadap permintaan yang sama, lalu menormalkan setiap imbalan dengan mengurangkan rata-rata grup dan membaginya dengan deviasi standar grup. Z-score inilah yang menjadi keunggulannya. Pendekatan ini penting dalam Group Relative Policy Optimization (GRPO), yang diperkenalkan oleh DeepSeek, yang terkenal mendukung alasan DeepSeek-R1. Yang terpenting, GRPO menghilangkan jaringan nilai terpisah (kritik) yang digunakan oleh PPO, karena rata-rata kelompok berfungsi sebagai garis dasar. Hal ini membuat pelatihan menjadi lebih sederhana, lebih murah, dan lebih hemat memori sekaligus menjaga skala sinyal gradien tetap baik.
Wawasan Teknis
Untuk sekelompok keluaran dengan imbalan r_1...r_G, keuntungannya adalah A_i = (r_i − mean(r)) / std(r). Respons yang lebih baik dari rata-rata kelompoknya mendapatkan keuntungan positif dan diperkuat; yang lebih buruk dari rata-rata akan didorong ke bawah. Karena perbandingan bersifat relatif dalam skala imbalan yang cepat dan mutlak serta tingkat kesulitan yang cepat dihilangkan, sehingga mengurangi varians. GRPO menjaga tujuan PPO yang terpotong dan penalti KL terhadap kebijakan referensi untuk mencegah model menyimpang terlalu jauh.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Normalisasi Penghargaan Berkelompok di RLHF
Normalisasi yang dikelompokkan memicu ledakan model penalaran, di mana model belajar dari imbalan yang dapat diverifikasi seperti jawaban matematika yang benar tanpa kritik yang terpelajar. Penelitian sedang menyempurnakannya: perdebatan mengenai apakah akan membagi berdasarkan deviasi standar, menangani kelompok yang semuanya benar atau salah yang tidak menghasilkan keuntungan apa pun, dan menskalakan ukuran kelompok. Harapkan metode yang dikelompokkan dan bebas kritik untuk menyebar ke penggunaan alat agen dan pembuatan kode, di mana pemverifikasi otomatis memberikan sinyal imbalan yang murah dan berlimpah.
Implementasi Dunia Nyata
Melatih model penalaran matematika dengan mengambil sampel 16 solusi per soal dan memberi penghargaan kepada solusi yang berada di atas rata-rata kebenaran kelompok.
Menyempurnakan kegunaan chatbot dengan menormalkan skor model penghargaan di beberapa kandidat balasan untuk setiap permintaan pengguna.
Meningkatkan asisten pengkodean di mana setiap solusi sampel diberi skor berdasarkan apakah solusi tersebut lulus pengujian unit, kemudian dinormalisasi dalam grup.
Mengurangi memori GPU dalam pipeline RLHF dengan menghapus jaringan kritik PPO dan menggunakan mean grup sebagai baseline.
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Normalisasi Imbalan yang Dikelompokkan di RLHF membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped Reward Normalization in RLHF quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Normalisasi Panjang dalam Optimasi Preferensi
Pertanyaan yang sering diajukan
What is Grouped Reward Normalization in RLHF?
Normalisasi imbalan yang dikelompokkan menstandarkan imbalan model dalam kumpulan respons terhadap permintaan yang sama, mengubah skor yang bermasalah menjadi sinyal pelatihan yang stabil. Ini adalah trik inti di balik GRPO, algoritma yang mendukung banyak model penalaran modern.
Dalam normalisasi imbalan berkelompok, dengan apa imbalan masing-masing respons dibandingkan?
Setiap hadiah diubah menjadi skor-z menggunakan mean dan deviasi standar dari kelompok respons terhadap perintah yang sama.
Algoritme mana yang paling banyak dikaitkan dengan normalisasi imbalan berkelompok?
GRPO, diperkenalkan oleh DeepSeek dan digunakan di DeepSeek-R1, dibangun dengan menormalisasi imbalan dalam grup.
Komponen PPO standar apa yang dihilangkan oleh GRPO?
Dengan menggunakan rata-rata grup sebagai dasar, GRPO menghilangkan kritik yang dipelajari, sehingga menghemat memori dan komputasi.
Apa yang terjadi pada respons yang imbalannya berada di bawah rata-rata kelompoknya?
Mengurangi rata-rata kelompok akan membuat tanggapan yang berada di bawah rata-rata mempunyai keuntungan negatif, sehingga menjauhkan kebijakan tersebut dari tanggapan mereka.
Mengapa normalisasi dalam suatu kelompok mengurangi varians pelatihan?
Karena perbandingan bersifat relatif dalam setiap prompt, perbedaan dalam skala absolut dan tingkat kesulitan prompt akan hilang.