Kvíz spojený s průvodcem · Střední úroveň

Proximální kvíz optimalizace zásad

Prohlédněte si výstřižky PPO, poměry zásad, zdroje odměn, KL sankce, kritiky, výhody a limity RLHF podle jazykového modelu. Zkontrolujte předpoklady a rozsah.

Související vodicí cestyProximální optimalizace politiky
Otázka 1 z 8

Jaký problém „ořezávání“ PPO primárně řeší?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký problém „ořezávání“ PPO primárně řeší?
    • Příliš velké aktualizace zásad, které destabilizují školení
    • Pomalé načítání dat
    • Omezení velikosti slovní zásoby
    • Využití paměti během vyvozování
  2. V jazykovém modelu RLHF s PPO, odkud obvykle pochází signál odměny?
    • Přímé lidské hodnocení každého žetonu
    • Vycvičený model odměny
    • Rychlost učení optimalizátoru
    • Velikost slovní zásoby
  3. Co dělá penalizace za divergenci KL v RLHF na bázi PPO?
    • Urychluje generování tokenů
    • Zvyšuje přesnost modelu odměny
    • Udržuje vyladěný model příliš daleko od referenčního modelu
    • Odstraňuje potřebu hodnotové sítě
  4. Jaká je role hodnotové (kritické) sítě v PPO?
    • Pro generování finálního textového výstupu
    • Pro uložení tréninkových dat
    • Úplně nahradit model odměn
    • Pro odhad očekávané návratnosti lze vypočítat výhody
  5. Co představuje „výhoda“ v PPO?
    • O kolik byla akce lepší než očekávaná základní linie
    • Celkový počet parametrů modelu
    • Rozsah ořezu
    • Penalizační koeficient KL
  6. What distinguishes GRPO from PPO in the DeepSeekMath paper?
    • It removes all policy sampling and optimizes only supervised labels
    • It estimates relative advantages from groups of sampled responses without a separate value critic
    • It uses a trained reward model as a value network
    • It guarantees zero policy drift after one update
  7. What probability ratio does PPO clip in its surrogate objective?
    • The reward divided by the number of prompts
    • The value estimate divided by the KL coefficient
    • The new policy’s action probability divided by the old policy’s action probability
    • The sequence length divided by batch size
  8. Why is PPO called an on-policy method in its standard form?
    • It trains only on a static image dataset
    • It never samples actions
    • It updates only a reward model
    • It collects trajectories using the current policy being optimized