Kuis terkait panduan · Sedang Tingkat

Kuis Optimasi Kebijakan Proksimal

Tinjau kliping PPO, rasio kebijakan, sumber imbalan, hukuman KL, kritik, keuntungan, dan batasan RLHF model bahasa. Periksa asumsi dan ruang lingkup.

Jalur panduan terkaitOptimalisasi Kebijakan Proksimal
Pertanyaan 1 dari 8

Masalah apa yang terutama diatasi oleh 'kliping' PPO?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Masalah apa yang terutama diatasi oleh 'kliping' PPO?
    • Pembaruan kebijakan yang terlalu besar sehingga mengganggu stabilitas pelatihan
    • Pemuatan data lambat
    • Batasan ukuran kosakata
    • Penggunaan memori selama inferensi
  2. Dalam model bahasa RLHF dengan PPO, sinyal reward biasanya berasal dari mana?
    • Penilaian manusia langsung untuk setiap token
    • Model penghargaan yang terlatih
    • Kecepatan pembelajaran pengoptimal
    • Ukuran kosakata
  3. Apa dampak penalti KL-divergence pada RLHF berbasis PPO?
    • Mempercepat pembuatan token
    • Meningkatkan akurasi model penghargaan
    • Menjaga model yang telah disempurnakan agar tidak menyimpang terlalu jauh dari model referensi
    • Menghilangkan kebutuhan akan jaringan nilai
  4. Apa peran jaringan nilai (kritik) dalam PPO?
    • Untuk menghasilkan keluaran teks akhir
    • Untuk menyimpan data pelatihan
    • Untuk menggantikan model penghargaan sepenuhnya
    • Untuk memperkirakan keuntungan yang diharapkan sehingga keuntungan dapat dihitung
  5. Apa yang dimaksud dengan 'keuntungan' dalam PPO?
    • Seberapa baik suatu tindakan dibandingkan dengan baseline yang diharapkan
    • Jumlah parameter total model
    • Kisaran kliping
    • Koefisien penalti KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized