Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Proximális házirend-optimalizáló kvíz

Review PPO clipping, policy ratios, reward sources, KL penalties, critics, advantages, and language-model RLHF limits. Check assumptions and scope.

Kapcsolódó útmutató utakProximális házirend optimalizálása
kérdés 1 -ból 8

Milyen problémát old meg elsősorban a PPO „kivágása”?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen problémát old meg elsősorban a PPO „kivágása”?
    • Túlságosan terjedelmes szabályzatfrissítések, amelyek destabilizálják a képzést
    • Lassú adatbetöltés
    • Szókincs mérethatárai
    • Memóriahasználat a következtetés során
  2. A PPO-val rendelkező RLHF nyelvi modellben általában honnan jön a jutalomjel?
    • Minden token közvetlen emberi pontozása
    • Képzett jutalommodell
    • Az optimalizáló tanulási sebessége
    • A szókincs mérete
  3. Mit tesz a KL-divergencia büntetés a PPO-alapú RLHF-ben?
    • Felgyorsítja a token generálást
    • Növeli a jutalommodell pontosságát
    • Megakadályozza, hogy a finomhangolt modell túl messzire sodródjon a referenciamodelltől
    • Megszünteti az értékhálózat szükségességét
  4. Mi a szerepe az érték- (kritikus) hálózatnak a PPO-ban?
    • A végső szövegkimenet létrehozása
    • Az edzésadatok tárolására
    • A jutalommodell teljes cseréje
    • A várható hozam becslése, hogy az előnyöket ki lehessen számítani
  5. Mit jelent az „előny” a PPO-ban?
    • Mennyivel jobb egy akció a várt alapállapotnál
    • A modell teljes paramétereinek száma
    • A vágási tartomány
    • A KL büntetési együttható
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized