SıradakiSonraki rehber
Yakınsal Politika Optimizasyonu
Dil Yapay Zeka
Teknik KILAVUZ
Grup Göreli Politika Optimizasyonu
Grup Göreli Politika Optimizasyonu (GRPO), PPO tarafından kullanılan ayrı değer ağını ortadan kaldırarak, her yanıtı aynı istemdeki bir grup kardeş yanıta göre değerlendiren dil modellerinde ince ayar yapmaya yönelik bir takviyeli öğrenme yöntemidir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
DeepSeek'nin muhakeme modellerinin ardındaki temel eğitim hilesi olarak ünlendi.
Derin Dalış
GRPO is a variant of policy-gradient reinforcement learning designed to make RL fine-tuning of large language models cheaper and more stable. Many PPO implementations train a value model to estimate returns; its size and cost depend on the implementation. GRPO removes that critic entirely. For each prompt it samples a group of completions (say 8-64), scores them all with a reward signal, and then computes each completion's advantage by standardizing its reward against the group's mean and standard deviation. Above-average answers are reinforced and below-average ones suppressed. A KL-divergence term keeps the model close to a reference policy. Introduced by DeepSeek, it powered DeepSeekMath and the DeepSeek-R1 reasoning models.
Gerçek Dünya Uygulaması
Matematik problemlerinde kurala dayalı doğruluk ödüllerini kullanarak uzun düşünce zinciri muhakemesi üretmek için DeepSeek-R1 ve DeepSeekMath'i eğitmek
Örneklenen her çözümün birim testleri geçip geçmediğine göre puanlandığı ve grubun kazananları seçecek şekilde normalleştirildiği kod oluşturma modellerinde ince ayar yapılması
Ayrı bir değer ağı için ödeme yapmadan sohbet modellerini uyumlu hale getirmek için GRPO kullanan açık kaynaklı RLHF işlem hatları (ör. TRL ve sürüm kitaplıklarında)
Komut istemi başına çeşitli yanıtları örnekleyerek ve ödül modelinin akranlarına göre en yüksek puan verdiği yanıtları ödüllendirerek talimat izleme veya güvenlik davranışını iyileştirmek
Grup Göreli Politika Optimizasyonunun Geleceği
GRPO, açık muhakeme modellerini eğitmek için hızla varsayılan bir yöntem haline geldi ve laboratuvarlar onun zayıf noktalarını yineliyor. Araştırmacılar uzunluk ve zorluk önyargıları (Dr. GRPO gibi), dizi düzeyinde normalleştirme yerine belirteç düzeyinde düzeltmeler ve KL terimini kaldırma veya yeniden şekillendirme için düzeltmeler araştırıyorlar. Doğrulanabilir ödüllerle (matematik, kod, araç kullanımı), seyrek sinyallerin daha iyi işlenmesiyle ve grup temellerini aracılı, çok adımlı görevler için hafif eleştirilerle birleştiren hibritlerle daha sıkı entegrasyon bekleyebilirsiniz.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Group Relative Policy Optimization quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Grup Göreli İlke Optimizasyonu Nedir?
Grup Göreli Politika Optimizasyonu (GRPO), PPO tarafından kullanılan ayrı değer ağını ortadan kaldırarak, her yanıtı aynı istemdeki bir grup kardeş yanıta göre değerlendiren dil modellerinde ince ayar yapmaya yönelik bir takviyeli öğrenme yöntemidir. DeepSeek'in muhakeme modellerinin ardındaki temel eğitim hilesi olarak ünlendi.
Which separately learned estimator does the original GRPO approach avoid training?
GRPO uses a group-relative baseline rather than a separately learned value estimator. The size and resource savings depend on the PPO implementation used for comparison.
GRPO belirli bir tamamlamanın avantajını nasıl hesaplar?
Her tamamlamanın avantajı (ödül - grup ortalaması) / grup standart sapmasıdır, dolayısıyla aynı istemin yanıt grubu temel olarak hareket eder.
Hangi modeller GRPO'nun tanınmasını sağladı?
GRPO, DeepSeek tarafından, özellikle DeepSeekMath'te ve DeepSeek-R1 akıl yürütme modellerinin arkasındaki RL motoru olarak tanıtıldı ve popüler hale getirildi.
GRPO'da KL-ıraksama teriminin rolü nedir?
Bir referans (genellikle RL öncesi) modeline karşı KL cezası, politikanın çökmeden veya yozlaşmış çıktılara sürüklenmeden gelişmesini sağlayacak şekilde eğitimi düzenli hale getirir.
GRPO neden matematik veya kodla ilgili muhakeme modellerinin eğitimi için özellikle çekici?
Birçok çözümün örneklenmesi ve bunların otomatik doğruluk kontrolleriyle puanlanması, GRPO'nun grup normalleştirilmiş avantajlarıyla temiz bir şekilde eşleşir, hiçbir eleştiriye gerek yoktur.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi