Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Q-Learning kvíz
Checks Q-values, off-policy learning, Bellman updates, exploration, convergence assumptions and why Q-learning is model-free.
kérdés 1 -ból 8
Mit jelent a Q(s, a) Q-érték?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit jelent a Q(s, a) Q-érték?
- A cselekvés várható hosszú távú jutalma a s állapotban, majd optimálisan
- s állapotba kerülés valószínűsége
- Az a művelet kipróbálásának száma
- Azonnali jutalom csak cselekvésért a
- Miért nevezik a Q-Learninget „irányzaton kívülinek”?
- Ehhez egy környezeti modellre van szükség
- Meg tudja tanulni az optimális politikát, miközben egy másik, feltáró politikát követ
- Offline csak a tárolt adatokon működik
- Teljesen figyelmen kívül hagyja a jutalmakat
- A frissítési szabályban mit szabályoz a diszkonttényező gamma?
- A feltárási sebesség
- Az állapottábla mérete
- Mekkora a jövőbeli jutalmak súlyozása az azonnali jutalmakhoz képest
- Az epizódok száma
- Mi az időbeli különbség (TD) hiba a Q-Learningben?
- A különbség két állapot között
- Egy epizód teljes jutalma
- A tanulási sebesség gamma szorzata
- r + gamma*max Q(s',a') mínusz az aktuális Q(s,a) becslés
- Miért küzd az egyszerű táblázatos Q-Learning olyan nagy problémákkal, mint a pixelekből származó videojátékok?
- A különböző állapotok száma túl nagy ahhoz, hogy egy táblázatban tároljuk
- Jutalmat nem használhat fel
- Csak két művelettel működik
- A gamának egyenlőnek kell lennie 1-gyel
- Mi a célja az epszilon-mohó akciókiválasztásnak?
- Mindig a legmagasabb Q-értékű művelet kiválasztása
- Egyensúlyba hozni az új cselekvések felfedezését az ismert jók kiaknázásával
- A kedvezménytényező beállításához
- A Q-tábla tárolásához
- What exploration condition appears in the tabular Q-learning convergence result?
- Only the greedy action is ever sampled
- Each state must be visited exactly once
- Every state-action pair must be visited repeatedly under suitable learning conditions
- The transition model must be known in advance
- Why is Q-learning called model-free?
- It never observes the environment
- It does not use rewards
- It requires a complete transition table before learning
- It updates values from sampled rewards and next states without storing transition probabilities