SeterusnyaPanduan seterusnya
Pengoptimuman Dasar Proksimal
AI bahasa
PANDUAN Teknikal
Pengoptimuman Dasar Relatif Kumpulan
Pengoptimuman Dasar Relatif Kumpulan (GRPO) ialah kaedah pembelajaran pengukuhan untuk memperhalusi model bahasa yang menilai setiap jawapan terhadap sekumpulan jawapan adik beradik kepada gesaan yang sama, menghapuskan rangkaian nilai berasingan yang digunakan oleh PPO.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Ia menjadi terkenal sebagai helah latihan teras di sebalik model penaakulan DeepSeek.
Menyelam dalam
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Pelaksanaan Dunia Sebenar
Melatih DeepSeek-R1 dan DeepSeekMath untuk menghasilkan penaakulan rantaian pemikiran yang panjang menggunakan ganjaran ketepatan berasaskan peraturan pada masalah matematik
Penalaan halus model penjanaan kod di mana setiap penyelesaian sampel dijaringkan sama ada ia lulus ujian unit dan kumpulan dinormalkan untuk memilih pemenang
Saluran paip RLHF sumber terbuka (cth., dalam perpustakaan TRL dan verl) menggunakan GRPO untuk menjajarkan model sembang tanpa membayar untuk rangkaian nilai yang berasingan
Memperbaiki tingkah laku mengikut arahan atau keselamatan dengan mencontohi beberapa respons setiap gesaan dan memberi ganjaran kepada yang model ganjaran kadar tertinggi berbanding rakan sebaya mereka
Masa Depan Pengoptimuman Dasar Relatif Kumpulan
GRPO telah menjadi resipi lalai dengan pantas untuk melatih model penaakulan terbuka, dan makmal sedang mengulangi kelemahannya. Penyelidik sedang meneroka pembetulan untuk berat sebelah panjang dan kesukaran (seperti Dr. GRPO), tahap token dan bukannya normalisasi peringkat jujukan, dan mengalih keluar atau membentuk semula istilah KL. Jangkakan penyepaduan yang lebih ketat dengan ganjaran yang boleh disahkan (matematik, kod, penggunaan alat), pengendalian isyarat jarang yang lebih baik dan hibrid yang menggabungkan garis dasar kumpulan dengan pengkritik ringan untuk tugasan berbilang langkah yang agenik.
Mempraktikkannya
Mengapa ia penting
- Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
- Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.
Berhati-hati untuk
- Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
- Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
- Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.
Langkah seterusnya
- Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
- Penanda aras di bawah beban realistik dan keadaan data.
- Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
- Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Group Relative Policy Optimization quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah itu Pengoptimuman Dasar Relatif Kumpulan?
Pengoptimuman Dasar Relatif Kumpulan (GRPO) ialah kaedah pembelajaran pengukuhan untuk memperhalusi model bahasa yang menilai setiap jawapan terhadap sekumpulan jawapan adik beradik kepada gesaan yang sama, menghapuskan rangkaian nilai berasingan yang digunakan oleh PPO. Ia menjadi terkenal sebagai helah latihan teras di sebalik model penaakulan DeepSeek.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
Bagaimanakah GRPO mengira kelebihan untuk penyiapan tertentu?
Setiap kelebihan penyiapan ialah (ganjaran - min kumpulan) / sisihan piawai kumpulan, jadi kumpulan jawapan kepada gesaan yang sama bertindak sebagai garis dasar.
Model manakah yang menjadikan GRPO terkenal?
GRPO telah diperkenalkan dan dipopularkan oleh DeepSeek, terutamanya dalam DeepSeekMath dan sebagai enjin RL di belakang model penaakulan DeepSeek-R1.
Apakah peranan yang dimainkan oleh istilah KL-divergence dalam GRPO?
Penalti KL terhadap rujukan (biasanya model pra-RL) menyelaraskan latihan supaya polisi bertambah baik tanpa runtuh atau hanyut menjadi output yang merosot.
Mengapakah GRPO sangat menarik untuk melatih model penaakulan tentang matematik atau kod?
Mensampel banyak penyelesaian dan menjaringkannya dengan pemeriksaan ketepatan automatik berpasangan dengan bersih dengan kelebihan GRPO yang dinormalisasi kumpulan, tidak perlu pengkritik.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini