Kvíz spojený s průvodcem · Střední úroveň
Q-Learning Kvíz
Kontroluje Q-hodnoty, učení mimo zásady, aktualizace Bellman, průzkum, předpoklady konvergence a proč je Q-learning bez modelu.
Otázka 1 z 8
Co představuje Q-hodnota Q(s, a)?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co představuje Q-hodnota Q(s, a)?
- Očekávaná dlouhodobá odměna za provedení akce a ve stavu s, poté jednání optimálně
- Pravděpodobnost být ve stavu s
- Počet pokusů o akci a
- Okamžitá odměna pouze za akci a
- Proč je Q-Learning popisován jako „nezásadní“?
- Vyžaduje to model prostředí
- Může se naučit optimální politiku a zároveň dodržovat jinou, průzkumnou politiku
- Funguje pouze offline na uložených datech
- Úplně ignoruje odměny
- Co v pravidle aktualizace řídí diskontní faktor gama?
- Míra průzkumu
- Velikost tabulky stavu
- Jak moc jsou budoucí odměny váženy vzhledem k okamžitým odměnám
- Počet epizod
- Co je chyba časového rozdílu (TD) v Q-Learningu?
- Rozdíl mezi dvěma státy
- Celková odměna za epizodu
- Rychlost učení krát gama
- r + gama*max Q(s',a') mínus aktuální odhad Q(s,a).
- Proč se jednoduchý tabulkový Q-Learning potýká s velkými problémy, jako jsou videohry z pixelů?
- Počet odlišných stavů je příliš velký pro uložení do tabulky
- Nemůže používat odměny
- Funguje pouze se dvěma akcemi
- Gama se musí rovnat 1
- Jaký je účel epsilon-chtivého výběru akcí?
- Vždy vybrat akci s nejvyšší hodnotou Q
- Vyvážit zkoumání nových akcí s využíváním známých dobrých
- Chcete-li nastavit faktor slevy
- K uložení Q-tabulky
- What exploration condition appears in the tabular Q-learning convergence result?
- Only the greedy action is ever sampled
- Each state must be visited exactly once
- Every state-action pair must be visited repeatedly under suitable learning conditions
- The transition model must be known in advance
- Why is Q-learning called model-free?
- It never observes the environment
- It does not use rewards
- It requires a complete transition table before learning
- It updates values from sampled rewards and next states without storing transition probabilities