RLHF Sınavında Gruplandırılmış Ödül Normalleştirmesi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Gruplandırılmış ödül normalleştirmesinde her bir yanıtın ödülü neye göre karşılaştırılır?
   • Kendi istem grubunun ortalaması ve standart sapması
   • Sabit bir küresel sabit
   • Önceki çağın ödülü
   • Modelin parametre sayısı
2. Gruplandırılmış ödül normalizasyonuyla en çok hangi algoritma ilişkilidir?
   • Stokastik gradyan inişi
   • GRPO (Grup Göreli Politika Optimizasyonu)
   • K-kümeleme anlamına gelir
   • Geri yayılım
3. GRPO, standart PPO'nun hangi bileşenini belirgin şekilde ortadan kaldırıyor?
   • Ödül modeli
   • Sinir ağı tamamen
   • Ayrı değer ağı (eleştirmen)
   • Eğitim verileri
4. Ödülü grubun ortalamasının altında olan bir yanıta ne olur?
   • Olumlu avantaj elde eder ve güçlendirilir
   • Veri kümesinden silinir
   • Ödülü ikiye katlandı
   • Olumsuz avantaj elde eder ve cesareti kırılır
5. What does within-prompt reward normalization provide to a GRPO update?
   • A relative, scaled advantage for each response compared with others for the same prompt
   • A guarantee that all prompt difficulty differences disappear
   • A higher learning rate
   • A way to make every response receive the same reward
6. What happens when every response in a prompt group receives the same reward?
   • Every response gets a positive advantage
   • Centering gives no relative advantage; zero spread also requires numerical handling
   • The group mean doubles the reward
   • The model stops needing a policy objective
7. Which PPO-style update element does GRPO retain?
   • A separately learned value network
   • K-means clustering over tokens
   • A clipped policy objective
   • A language-model tokenizer
8. What can a KL penalty relative to a reference policy help constrain in GRPO?
   • The number of prompts in each group
   • The length of the tokenizer vocabulary
   • The resolution of generated images
   • How far the updated policy drifts from the reference policy