Kvíz spojený s průvodcem · Střední úroveň

Kvíz o metodách herce a kritiky

Kontroluje role herce a kritika, signály výhod a TD, snížení rozptylu, kontinuální akce a příklady PPO. v moderní praxi.

Související vodicí cestyMetody herecké kritiky
Otázka 1 z 8

Jaká je role „kritika“ v metodě herec-kritik?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je role „kritika“ v metodě herec-kritik?
    • Odhadnout hodnotu stavů (nebo akcí) a zhodnotit volby aktéra
    • Chcete-li vybrat akci, kterou chcete provést
    • K uložení vyrovnávací paměti přehrávání
    • K náhodnému prozkoumání prostředí
  2. Co měří 'výhoda' A(s,a) = Q(s,a) - V(s)?
    • Celková odměna za epizodu
    • O kolik je akce lepší než průměrná hodnota státu
    • Míra učení
    • Počet dostupných akcí
  3. Proč přidání kritika snižuje rozptyl ve srovnání s metodami čistě politického gradientu, jako je REINFORCE?
    • Odstraňuje odměny z rovnice
    • To dělá politiku deterministickou
    • Kritik poskytuje základní linii, takže aktualizace používají méně hlučný výhodný signál
    • Zvyšuje diskontní faktor
  4. Jakou schopnost mají metody hereckých kritiků, že jednoduché metody založené na hodnotách, jako je Q-Learning, zvládají nemotorně?
    • Diskrétní akce
    • Použití odměn
    • Slevování budoucnosti
    • Průběžné akční prostory
  5. Který z následujících je algoritmus založený na aktérech a kritikech široce používaný pro RLHF na jazykových modelech?
    • PPO (Proximal Policy Optimization)
    • K-znamená
    • Lineární regrese
    • Q-Learning
  6. Jaký signál obvykle používá aktér k aktualizaci svých zásad?
    • Nezpracovaný pixelový vstup
    • Výhoda nebo chyba TD poskytnutá kritikem
    • Velikost vyrovnávací paměti pro přehrávání
    • Pevné náhodné číslo
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline