Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Q-Learning kvíz

Checks Q-values, off-policy learning, Bellman updates, exploration, convergence assumptions and why Q-learning is model-free.

Kapcsolódó útmutató utakQ Tanulás
kérdés 1 -ból 8

Mit jelent a Q(s, a) Q-érték?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit jelent a Q(s, a) Q-érték?
    • A cselekvés várható hosszú távú jutalma a s állapotban, majd optimálisan
    • s állapotba kerülés valószínűsége
    • Az a művelet kipróbálásának száma
    • Azonnali jutalom csak cselekvésért a
  2. Miért nevezik a Q-Learninget „irányzaton kívülinek”?
    • Ehhez egy környezeti modellre van szükség
    • Meg tudja tanulni az optimális politikát, miközben egy másik, feltáró politikát követ
    • Offline csak a tárolt adatokon működik
    • Teljesen figyelmen kívül hagyja a jutalmakat
  3. A frissítési szabályban mit szabályoz a diszkonttényező gamma?
    • A feltárási sebesség
    • Az állapottábla mérete
    • Mekkora a jövőbeli jutalmak súlyozása az azonnali jutalmakhoz képest
    • Az epizódok száma
  4. Mi az időbeli különbség (TD) hiba a Q-Learningben?
    • A különbség két állapot között
    • Egy epizód teljes jutalma
    • A tanulási sebesség gamma szorzata
    • r + gamma*max Q(s',a') mínusz az aktuális Q(s,a) becslés
  5. Miért küzd az egyszerű táblázatos Q-Learning olyan nagy problémákkal, mint a pixelekből származó videojátékok?
    • A különböző állapotok száma túl nagy ahhoz, hogy egy táblázatban tároljuk
    • Jutalmat nem használhat fel
    • Csak két művelettel működik
    • A gamának egyenlőnek kell lennie 1-gyel
  6. Mi a célja az epszilon-mohó akciókiválasztásnak?
    • Mindig a legmagasabb Q-értékű művelet kiválasztása
    • Egyensúlyba hozni az új cselekvések felfedezését az ismert jók kiaknázásával
    • A kedvezménytényező beállításához
    • A Q-tábla tárolásához
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities