Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Színész-kritikus módszerek kvíz
Checks the actor and critic roles, advantage and TD signals, variance reduction, continuous actions and PPO examples. in modern practice.
kérdés 1 -ból 8
Egy színész-kritikus módszerben mi a „kritikus” szerepe?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Egy színész-kritikus módszerben mi a „kritikus” szerepe?
- Az állapotok (vagy cselekvések) értékének becslése és a cselekvő választásainak értékelése
- A végrehajtandó művelet kiválasztásához
- A visszajátszási puffer tárolásához
- Véletlenszerűen felfedezni a környezetet
- Mit mér az A(s,a) = Q(s,a) - V(s) 'előny'?
- Az epizód teljes jutalma
- Mennyivel jobb egy akció, mint az állam átlagértéke
- A tanulási arány
- Az elérhető műveletek száma
- Miért csökkenti a kritikus hozzáadása a szórást az olyan tiszta politikai gradiens módszerekhez képest, mint a REINFORCE?
- Eltávolítja a jutalmakat az egyenletből
- Determinisztikussá teszi a politikát
- A kritikus egy alapállapotot ad, így a frissítések kevésbé zajos előnyjelet használnak
- Növeli a diszkonttényezőt
- Milyen képességekkel rendelkeznek a színészkritikus módszerek, amelyeket az egyszerű értékalapú módszerek, például a Q-Learning kínosan kezelnek?
- Diszkrét cselekvések
- Jutalmak használata
- A jövő leszámítolása
- Folyamatos akcióterek
- Az alábbiak közül melyik egy színész-kritikus alapú algoritmus, amelyet széles körben használnak az RLHF-hez nyelvi modelleken?
- PPO (Proximal Policy Optimization)
- K- jelenti
- Lineáris regresszió
- Q-Learning
- Milyen jeleket használ a szereplő általában az irányelveinek frissítésére?
- A nyers pixel bemenet
- A kritikus által biztosított előny vagy TD hiba
- A visszajátszási puffer mérete
- Rögzített véletlenszám
- An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
- Decrease its probability in every state
- Set the critic’s value estimate to zero
- Increase the probability of choosing that action in the state
- Replace the policy with a Q-table
- An action’s estimated advantage is negative. What direction should the actor update favor?
- Increase it because the critic was surprised
- Delete the state from the environment
- Raise the reward discount factor automatically
- Reduce the likelihood of that action relative to the policy baseline