Kvíz spojený s průvodcem · Střední úroveň
Kvíz o metodách herce a kritiky
Kontroluje role herce a kritika, signály výhod a TD, snížení rozptylu, kontinuální akce a příklady PPO. v moderní praxi.
Otázka 1 z 8
Jaká je role „kritika“ v metodě herec-kritik?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je role „kritika“ v metodě herec-kritik?
- Odhadnout hodnotu stavů (nebo akcí) a zhodnotit volby aktéra
- Chcete-li vybrat akci, kterou chcete provést
- K uložení vyrovnávací paměti přehrávání
- K náhodnému prozkoumání prostředí
- Co měří 'výhoda' A(s,a) = Q(s,a) - V(s)?
- Celková odměna za epizodu
- O kolik je akce lepší než průměrná hodnota státu
- Míra učení
- Počet dostupných akcí
- Proč přidání kritika snižuje rozptyl ve srovnání s metodami čistě politického gradientu, jako je REINFORCE?
- Odstraňuje odměny z rovnice
- To dělá politiku deterministickou
- Kritik poskytuje základní linii, takže aktualizace používají méně hlučný výhodný signál
- Zvyšuje diskontní faktor
- Jakou schopnost mají metody hereckých kritiků, že jednoduché metody založené na hodnotách, jako je Q-Learning, zvládají nemotorně?
- Diskrétní akce
- Použití odměn
- Slevování budoucnosti
- Průběžné akční prostory
- Který z následujících je algoritmus založený na aktérech a kritikech široce používaný pro RLHF na jazykových modelech?
- PPO (Proximal Policy Optimization)
- K-znamená
- Lineární regrese
- Q-Learning
- Jaký signál obvykle používá aktér k aktualizaci svých zásad?
- Nezpracovaný pixelový vstup
- Výhoda nebo chyba TD poskytnutá kritikem
- Velikost vyrovnávací paměti pro přehrávání
- Pevné náhodné číslo
- An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
- Decrease its probability in every state
- Set the critic’s value estimate to zero
- Increase the probability of choosing that action in the state
- Replace the policy with a Q-table
- An action’s estimated advantage is negative. What direction should the actor update favor?
- Increase it because the critic was surprised
- Delete the state from the environment
- Raise the reward discount factor automatically
- Reduce the likelihood of that action relative to the policy baseline