Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Színész-kritikus módszerek kvíz

Checks the actor and critic roles, advantage and TD signals, variance reduction, continuous actions and PPO examples. in modern practice.

Kapcsolódó útmutató utakSzínészkritikusi módszerek
kérdés 1 -ból 8

Egy színész-kritikus módszerben mi a „kritikus” szerepe?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Egy színész-kritikus módszerben mi a „kritikus” szerepe?
    • Az állapotok (vagy cselekvések) értékének becslése és a cselekvő választásainak értékelése
    • A végrehajtandó művelet kiválasztásához
    • A visszajátszási puffer tárolásához
    • Véletlenszerűen felfedezni a környezetet
  2. Mit mér az A(s,a) = Q(s,a) - V(s) 'előny'?
    • Az epizód teljes jutalma
    • Mennyivel jobb egy akció, mint az állam átlagértéke
    • A tanulási arány
    • Az elérhető műveletek száma
  3. Miért csökkenti a kritikus hozzáadása a szórást az olyan tiszta politikai gradiens módszerekhez képest, mint a REINFORCE?
    • Eltávolítja a jutalmakat az egyenletből
    • Determinisztikussá teszi a politikát
    • A kritikus egy alapállapotot ad, így a frissítések kevésbé zajos előnyjelet használnak
    • Növeli a diszkonttényezőt
  4. Milyen képességekkel rendelkeznek a színészkritikus módszerek, amelyeket az egyszerű értékalapú módszerek, például a Q-Learning kínosan kezelnek?
    • Diszkrét cselekvések
    • Jutalmak használata
    • A jövő leszámítolása
    • Folyamatos akcióterek
  5. Az alábbiak közül melyik egy színész-kritikus alapú algoritmus, amelyet széles körben használnak az RLHF-hez nyelvi modelleken?
    • PPO (Proximal Policy Optimization)
    • K- jelenti
    • Lineáris regresszió
    • Q-Learning
  6. Milyen jeleket használ a szereplő általában az irányelveinek frissítésére?
    • A nyers pixel bemenet
    • A kritikus által biztosított előny vagy TD hiba
    • A visszajátszási puffer mérete
    • Rögzített véletlenszám
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline