Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Proximális házirend-optimalizáló kvíz
Review PPO clipping, policy ratios, reward sources, KL penalties, critics, advantages, and language-model RLHF limits. Check assumptions and scope.
kérdés 1 -ból 8
Milyen problémát old meg elsősorban a PPO „kivágása”?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen problémát old meg elsősorban a PPO „kivágása”?
- Túlságosan terjedelmes szabályzatfrissítések, amelyek destabilizálják a képzést
- Lassú adatbetöltés
- Szókincs mérethatárai
- Memóriahasználat a következtetés során
- A PPO-val rendelkező RLHF nyelvi modellben általában honnan jön a jutalomjel?
- Minden token közvetlen emberi pontozása
- Képzett jutalommodell
- Az optimalizáló tanulási sebessége
- A szókincs mérete
- Mit tesz a KL-divergencia büntetés a PPO-alapú RLHF-ben?
- Felgyorsítja a token generálást
- Növeli a jutalommodell pontosságát
- Megakadályozza, hogy a finomhangolt modell túl messzire sodródjon a referenciamodelltől
- Megszünteti az értékhálózat szükségességét
- Mi a szerepe az érték- (kritikus) hálózatnak a PPO-ban?
- A végső szövegkimenet létrehozása
- Az edzésadatok tárolására
- A jutalommodell teljes cseréje
- A várható hozam becslése, hogy az előnyöket ki lehessen számítani
- Mit jelent az „előny” a PPO-ban?
- Mennyivel jobb egy akció a várt alapállapotnál
- A modell teljes paramétereinek száma
- A vágási tartomány
- A KL büntetési együttható
- What distinguishes GRPO from PPO in the DeepSeekMath paper?
- It removes all policy sampling and optimizes only supervised labels
- It estimates relative advantages from groups of sampled responses without a separate value critic
- It uses a trained reward model as a value network
- It guarantees zero policy drift after one update
- What probability ratio does PPO clip in its surrogate objective?
- The reward divided by the number of prompts
- The value estimate divided by the KL coefficient
- The new policy’s action probability divided by the old policy’s action probability
- The sequence length divided by batch size
- Why is PPO called an on-policy method in its standard form?
- It trains only on a static image dataset
- It never samples actions
- It updates only a reward model
- It collects trajectories using the current policy being optimized