Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Uboreshaji wa Sera ya Karibu

Kagua ukataji wa PPO, uwiano wa sera, vyanzo vya zawadi, adhabu za KL, wakosoaji, manufaa na vikomo vya RLHF vya muundo wa lugha. Angalia mawazo na upeo.

Njia za mwongozo zinazohusianaUboreshaji wa Sera ya Karibu
Swali 1 ya 8

Je, 'kupunguza' kwa PPO hushughulikia tatizo gani kimsingi?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, 'kupunguza' kwa PPO hushughulikia tatizo gani kimsingi?
    • Masasisho makubwa zaidi ya sera ambayo yanavuruga mafunzo
    • Upakiaji wa data polepole
    • Vikomo vya ukubwa wa msamiati
    • Matumizi ya kumbukumbu wakati wa makisio
  2. Katika modeli ya lugha ya RLHF iliyo na PPO, ishara ya zawadi kawaida hutoka wapi?
    • Bao la binadamu la moja kwa moja la kila ishara
    • Mfano wa zawadi uliofunzwa
    • Kiwango cha kujifunza cha kiboreshaji
    • Ukubwa wa msamiati
  3. Je, adhabu ya KL-divergence hufanya nini katika RLHF yenye msingi wa PPO?
    • Huongeza kasi ya kutengeneza tokeni
    • Huongeza usahihi wa muundo wa zawadi
    • Huzuia kielelezo kilichoboreshwa kutoka kusogezwa mbali sana na kielelezo cha marejeleo
    • Huondoa hitaji la mtandao wa thamani
  4. Je, ni jukumu gani la mtandao wa thamani (mkosoaji) katika PPO?
    • Ili kutoa pato la mwisho la maandishi
    • Ili kuhifadhi data ya mafunzo
    • Ili kuchukua nafasi ya muundo wa zawadi kabisa
    • Ili kukadiria mapato yanayotarajiwa ili faida ziweze kukokotwa
  5. Je, 'faida' inawakilisha nini katika PPO?
    • Kitendo kilikuwa bora kiasi gani kuliko msingi uliotarajiwa
    • Idadi ya jumla ya vigezo vya mfano
    • Masafa ya kunakili
    • Mgawo wa adhabu ya KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized