Rehber bağlantılı sınav · Sert Seviye

Grup Göreli İlke Optimizasyonu Testi

GRPO grubu ödül normalleştirmesini, eleştirmenleri kaldırmayı ve referans politikası düzenlemesini, göreli avantajların ne anlama geldiğini tek bir komutla uygulayın.

İlgili kılavuz yollarıGrup Göreli Politika Optimizasyonu
Soru 1 arasında 8

Which separately learned estimator does the original GRPO approach avoid training?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Which separately learned estimator does the original GRPO approach avoid training?
    • The policy that generates completions
    • A value or critic model
    • Every possible reward function
    • The reference policy’s vocabulary
  2. GRPO belirli bir tamamlamanın avantajını nasıl hesaplar?
    • Her jetonda öğrenilmiş bir değer başlığını sorgulayarak
    • Ham ödülü normalleştirme olmadan kullanarak
    • Farklı bir istemdeki tamamlamalarla karşılaştırarak
    • Ödülünü, kardeş tamamlama grubunun ortalama ve standart sapmasına göre standartlaştırarak
  3. Hangi modeller GRPO'nun tanınmasını sağladı?
    • DeepSeek'in DeepSeekMath ve DeepSeek-R1 akıl yürütme modelleri
    • OpenAI'nin GPT-2 serisi
    • Google'in orijinal BERT'i
    • Meta'nin Llama 2 temel modelleri
  4. GRPO'da KL-ıraksama teriminin rolü nedir?
    • Tamamlama grubunu oluşturur
    • Ödül modelinin yerini alıyor
    • Eğitilmiş politikanın donmuş bir referans modelinden çok uzaklaşmasını önler
    • Token başına değer tahminini hesaplar
  5. GRPO neden matematik veya kodla ilgili muhakeme modellerinin eğitimi için özellikle çekici?
    • Hiçbir ödül sinyali gerektirmez
    • Yalnızca insan tercih etiketleriyle çalışır
    • Örneklenmiş tamamlamaları kullanamaz
    • Bir grup örnek çözüm üzerinden puanlanan doğrulanabilir, kurala dayalı ödüllerle (örneğin, yanıtlar eşleşti mi veya testler geçti mi) doğal olarak çalışır.
  6. Takip çalışmalarının (Dr. GRPO gibi) vanilya GRPO'da düzeltmeye çalıştığı bilinen bir önyargı nedir?
    • Ödülü tamamen görmezden gelme eğilimi
    • Ödüllerin nasıl normalleştirildiğinin getirdiği uzunluk ve zorluk önyargıları
    • Birden fazla tamamlamanın örneklenilememesi
    • Muazzam bir eleştirmen ağının gereği
  7. Three GRPO completions for one prompt receive rewards 2, 4, and 6. Which completion has zero centered advantage?
    • The completion rewarded 2
    • The completion rewarded 6
    • The completion rewarded 4
    • All completions because rewards differ
  8. Why compare GRPO reward statistics among completions of the same prompt?
    • They provide a relative baseline for alternative answers to that prompt
    • They require unrelated prompts to have equal difficulty
    • They replace checking whether an answer is correct
    • They make the highest reward identical across all tasks