Kvíz spojený s průvodcem · Střední úroveň

Q-Learning Kvíz

Kontroluje Q-hodnoty, učení mimo zásady, aktualizace Bellman, průzkum, předpoklady konvergence a proč je Q-learning bez modelu.

Související vodicí cestyQ Učení
Otázka 1 z 8

Co představuje Q-hodnota Q(s, a)?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co představuje Q-hodnota Q(s, a)?
    • Očekávaná dlouhodobá odměna za provedení akce a ve stavu s, poté jednání optimálně
    • Pravděpodobnost být ve stavu s
    • Počet pokusů o akci a
    • Okamžitá odměna pouze za akci a
  2. Proč je Q-Learning popisován jako „nezásadní“?
    • Vyžaduje to model prostředí
    • Může se naučit optimální politiku a zároveň dodržovat jinou, průzkumnou politiku
    • Funguje pouze offline na uložených datech
    • Úplně ignoruje odměny
  3. Co v pravidle aktualizace řídí diskontní faktor gama?
    • Míra průzkumu
    • Velikost tabulky stavu
    • Jak moc jsou budoucí odměny váženy vzhledem k okamžitým odměnám
    • Počet epizod
  4. Co je chyba časového rozdílu (TD) v Q-Learningu?
    • Rozdíl mezi dvěma státy
    • Celková odměna za epizodu
    • Rychlost učení krát gama
    • r + gama*max Q(s',a') mínus aktuální odhad Q(s,a).
  5. Proč se jednoduchý tabulkový Q-Learning potýká s velkými problémy, jako jsou videohry z pixelů?
    • Počet odlišných stavů je příliš velký pro uložení do tabulky
    • Nemůže používat odměny
    • Funguje pouze se dvěma akcemi
    • Gama se musí rovnat 1
  6. Jaký je účel epsilon-chtivého výběru akcí?
    • Vždy vybrat akci s nejvyšší hodnotou Q
    • Vyvážit zkoumání nových akcí s využíváním známých dobrých
    • Chcete-li nastavit faktor slevy
    • K uložení Q-tabulky
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities