Kvíz spojený s průvodcem · Střední úroveň
Proximální kvíz optimalizace zásad
Prohlédněte si výstřižky PPO, poměry zásad, zdroje odměn, KL sankce, kritiky, výhody a limity RLHF podle jazykového modelu. Zkontrolujte předpoklady a rozsah.
Otázka 1 z 8
Jaký problém „ořezávání“ PPO primárně řeší?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký problém „ořezávání“ PPO primárně řeší?
- Příliš velké aktualizace zásad, které destabilizují školení
- Pomalé načítání dat
- Omezení velikosti slovní zásoby
- Využití paměti během vyvozování
- V jazykovém modelu RLHF s PPO, odkud obvykle pochází signál odměny?
- Přímé lidské hodnocení každého žetonu
- Vycvičený model odměny
- Rychlost učení optimalizátoru
- Velikost slovní zásoby
- Co dělá penalizace za divergenci KL v RLHF na bázi PPO?
- Urychluje generování tokenů
- Zvyšuje přesnost modelu odměny
- Udržuje vyladěný model příliš daleko od referenčního modelu
- Odstraňuje potřebu hodnotové sítě
- Jaká je role hodnotové (kritické) sítě v PPO?
- Pro generování finálního textového výstupu
- Pro uložení tréninkových dat
- Úplně nahradit model odměn
- Pro odhad očekávané návratnosti lze vypočítat výhody
- Co představuje „výhoda“ v PPO?
- O kolik byla akce lepší než očekávaná základní linie
- Celkový počet parametrů modelu
- Rozsah ořezu
- Penalizační koeficient KL
- What distinguishes GRPO from PPO in the DeepSeekMath paper?
- It removes all policy sampling and optimizes only supervised labels
- It estimates relative advantages from groups of sampled responses without a separate value critic
- It uses a trained reward model as a value network
- It guarantees zero policy drift after one update
- What probability ratio does PPO clip in its surrogate objective?
- The reward divided by the number of prompts
- The value estimate divided by the KL coefficient
- The new policy’s action probability divided by the old policy’s action probability
- The sequence length divided by batch size
- Why is PPO called an on-policy method in its standard form?
- It trains only on a static image dataset
- It never samples actions
- It updates only a reward model
- It collects trajectories using the current policy being optimized