Rehber bağlantılı sınav · Orta Seviye

Yakınsal Politika Optimizasyon Testi

PPO kesintilerini, politika oranlarını, ödül kaynaklarını, KL cezalarını, eleştirileri, avantajları ve dil modeli RLHF limitlerini inceleyin. Varsayımları ve kapsamı kontrol edin.

İlgili kılavuz yollarıYakınsal Politika Optimizasyonu
Soru 1 arasında 8

PPO'nun 'kırpılması' öncelikle hangi sorunu çözüyor?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. PPO'nun 'kırpılması' öncelikle hangi sorunu çözüyor?
    • Eğitimin istikrarını bozan aşırı büyük politika güncellemeleri
    • Yavaş veri yükleme
    • Kelime büyüklüğü sınırları
    • Çıkarım sırasında bellek kullanımı
  2. PPO'lu RLHF dil modelinde ödül sinyali genellikle nereden geliyor?
    • Her jetonun doğrudan insan tarafından puanlanması
    • Eğitimli bir ödül modeli
    • Optimize edicinin öğrenme oranı
    • Kelime dağarcığının büyüklüğü
  3. PPO tabanlı RLHF'de KL-sapma cezası ne işe yarar?
    • Jeton üretimini hızlandırır
    • Ödül modelinin doğruluğunu artırır
    • İnce ayarlı modelin referans modelden çok uzaklaşmasını önler
    • Değer ağı ihtiyacını ortadan kaldırır
  4. PPO'da değer (eleştirmen) ağının rolü nedir?
    • Nihai metin çıktısını oluşturmak için
    • Eğitim verilerini saklamak için
    • Ödül modelini tamamen değiştirmek
    • Avantajların hesaplanabilmesi için beklenen getiriyi tahmin etmek
  5. PPO'da 'avantaj' neyi temsil ediyor?
    • Bir eylemin beklenen temel çizgiden ne kadar daha iyi olduğu
    • Modelin toplam parametre sayısı
    • Kırpma aralığı
    • KL ceza katsayısı
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized