Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Pengoptimuman Dasar Proksimal

Semak keratan PPO, nisbah dasar, sumber ganjaran, penalti KL, pengkritik, kelebihan dan had RLHF model bahasa. Semak andaian dan skop.

Laluan panduan yang berkaitanPengoptimuman Dasar Proksimal
soalan 1 daripada 8

Apakah masalah yang paling utama ditangani oleh 'keratan' PPO?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah masalah yang paling utama ditangani oleh 'keratan' PPO?
    • Kemas kini dasar yang terlalu besar yang menjejaskan kestabilan latihan
    • Pemuatan data perlahan
    • Had saiz perbendaharaan kata
    • Penggunaan ingatan semasa inferens
  2. Dalam RLHF model bahasa dengan PPO, dari manakah isyarat ganjaran biasanya datang?
    • Pemarkahan langsung manusia bagi setiap token
    • Model ganjaran terlatih
    • Kadar pembelajaran pengoptimum
    • Saiz perbendaharaan kata
  3. Apakah yang dilakukan oleh penalti KL-divergence dalam RLHF berasaskan PPO?
    • Mempercepatkan penjanaan token
    • Meningkatkan ketepatan model ganjaran
    • Mengekalkan model yang ditala halus daripada hanyut terlalu jauh daripada model rujukan
    • Mengeluarkan keperluan untuk rangkaian nilai
  4. Apakah peranan rangkaian nilai (pengkritik) dalam PPO?
    • Untuk menjana output teks akhir
    • Untuk menyimpan data latihan
    • Untuk menggantikan model ganjaran sepenuhnya
    • Untuk menganggar pulangan yang dijangka supaya kelebihan boleh dikira
  5. Apakah yang diwakili oleh 'kelebihan' dalam PPO?
    • Sejauh mana tindakan adalah lebih baik daripada garis dasar yang dijangkakan
    • Jumlah kiraan parameter model
    • Julat keratan
    • Pekali penalti KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized