RLHF'de Gruplandırılmış Ödül Normalleştirmesi
Gruplandırılmış ödül normalleştirmesi, bir modelin ödüllerini aynı istemin bir dizi yanıtı içinde standartlaştırarak gürültülü puanları istikrarlı bir eğitim sinyaline dönüştürür.
Genel Bakış
It is the core trick behind GRPO, the algorithm that powers many modern reasoning models.
Derin Dalış
İnsan geri bildiriminden takviyeli öğrenmede (RLHF), bir model yanıtlar üretir ve bir ödül modeli bunları puanlar, ancak ham ödüller gürültülüdür ve istemler arasında büyük ölçüde farklılık gösterir. Gruplandırılmış ödül normalleştirmesi, aynı uyarıya verilen çeşitli yanıtlardan oluşan bir grubu örnekleyerek, ardından her bir ödülü grup ortalamasından çıkarıp grubun standart sapmasına bölerek normalleştirerek bunu düzeltir. Bu z-puanı avantaj haline geliyor. Bu yaklaşım, DeepSeek tarafından tanıtılan ve DeepSeek-R1'in mantığına güç vermesiyle ünlü olan Grup Göreli Politika Optimizasyonunun (GRPO) merkezinde yer alıyor. Grup ortalaması temel olarak hizmet ettiğinden GRPO, PPO tarafından kullanılan ayrı değer ağını (eleştirmeni) ortadan kaldırır. Bu, gradyan sinyalini iyi ölçeklendirilmiş tutarken eğitimi daha basit, daha ucuz ve hafıza açısından daha verimli hale getirir.
Teknik Bilgi
r_1...r_G ödüllerine sahip bir grup çıktı için avantaj A_i = (r_i − ortalama(r)) / std(r)'dir. Grubun ortalamasından daha iyi olan yanıtlar olumlu avantaj elde eder ve pekiştirilir; ortalamadan daha kötü olanlar aşağı itilir. Karşılaştırma anında göreli olduğundan, mutlak ödül ölçeği ve istem başına zorluk iptal edilerek varyans azaltılır. GRPO, modelin çok fazla sapmasını önlemek için PPO'nun kırpılmış hedefini ve KL cezasını bir referans politikasına karşı tutuyor.
Stratejik Etki
Daha net kararlar
Açık teknik iddiaları pazarlama dilinden ayırmanıza yardımcı olur.
Maliyet ve bütçe
Para veya zaman harcamadan önce daha iyi uygulama soruları sorabilirsiniz.
Ekip ve iş akışı
Ortak anlayışa sahip ekipler daha iyi ürün, politika ve öğrenme kararları verir.
RLHF'de Gruplandırılmış Ödül Normalleştirmesinin Geleceği
Gruplandırılmış normalleştirme, modellerin bilgili bir eleştirmen olmadan doğru matematik cevapları gibi doğrulanabilir ödüllerden öğrendiği akıl yürütme modeli patlamasını körüklüyor. Araştırma bunu geliştiriyor: Standart sapmaya göre mi bölüneceği, sıfır avantaj sağlayan tamamen doğru veya tamamen yanlış grupların ele alınması ve grup boyutunun ölçeklendirilmesi üzerine tartışmalar. Otomatik doğrulayıcıların ucuz, bol miktarda ödül sinyali sağladığı, gruplandırılmış, eleştirisiz yöntemlerin aracılı araç kullanımına ve kod oluşturmaya yayılmasını bekleyin.
Gerçek Dünya Uygulaması
Problem başına 16 çözümü örnekleyerek ve grubun ortalama doğruluğu üzerinde olanları ödüllendirerek bir matematik akıl yürütme modeli eğitmek.
Her kullanıcı istemine verilen çeşitli aday yanıtlarındaki ödül modeli puanlarını normalleştirerek bir sohbet robotunun yararlılığına ince ayar yapmak.
Örneklenen her çözümün birim testleri geçip geçmediğine göre puanlandığı ve ardından grup içinde normalleştirildiği bir kodlama asistanının geliştirilmesi.
PPO kritik ağını bırakarak ve bunun yerine grup ortalamasını temel olarak kullanarak bir RLHF kanalında GPU belleğini azaltmak.
Riskler ve Korkuluklar
Farklı ekipler aynı terimi farklı şekilde kullanabilir; bu nedenle kapsamı erken tanımlayın.
Gerçek dünya performansı dengesizken karşılaştırmalar güçlü görünebilir.
Veri kalitesini ve değerlendirme planlarını göz ardı etmek çoğu zaman hassas sonuçlar doğurur.
Uygulama Yol Haritası
İhtiyacınız olan sonucun sade bir dille tanımlanmasıyla başlayın.
Test etmeden önce bir başarı ölçüsü ve bir başarısızlık koşulu seçin.
Gösterişli bir demo seti yerine, temsili verilerle küçük bir pilot çalışma yürütün.
RLHF'de Gruplandırılmış Ödül Normalleştirmesinin nerede yardımcı olduğunu ve daha basit yöntemlerin nerede daha iyi olduğunu belgeleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped Reward Normalization in RLHF quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Tercih Optimizasyonunda Uzunluk Normalleştirmesi
Sık sorulan sorular
What is Grouped Reward Normalization in RLHF?
Gruplandırılmış ödül normalleştirmesi, bir modelin ödüllerini aynı istemin bir dizi yanıtı içinde standartlaştırarak gürültülü puanları istikrarlı bir eğitim sinyaline dönüştürür. Birçok modern muhakeme modeline güç veren algoritma olan GRPO'nun arkasındaki temel hile budur.
Gruplandırılmış ödül normalleştirmesinde her bir yanıtın ödülü neye göre karşılaştırılır?
Her ödül, aynı soruya verilen yanıt grubunun ortalaması ve standart sapması kullanılarak bir z puanına dönüştürülür.
Gruplandırılmış ödül normalizasyonuyla en çok hangi algoritma ilişkilidir?
DeepSeek tarafından tanıtılan ve DeepSeek-R1'de kullanılan GRPO, bir grup içindeki ödüllerin normalleştirilmesi üzerine inşa edilmiştir.
GRPO, standart PPO'nun hangi bileşenini belirgin şekilde ortadan kaldırıyor?
Grup ortalamasını temel olarak kullanan GRPO, öğrenilmiş eleştiriyi ortadan kaldırarak bellekten ve bilgi işlemden tasarruf sağlar.
Ödülü grubun ortalamasının altında olan bir yanıta ne olur?
Grup ortalamasını çıkarmak, ortalamanın altındaki yanıtların olumsuz avantaja sahip olmasını sağlar ve politikayı onlardan uzaklaştırır.
Bir grup içinde normalleşme neden eğitim farklılıklarını azaltır?
Karşılaştırmalar her ipucunda göreceli olduğundan, mutlak ölçek ve ipucu zorluğundaki farklılıklar ortadan kalkar.