Q-Öğrenim Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Q-değeri Q(s, a) neyi temsil eder?
   • A durumunda harekete geçmenin ve ardından en iyi şekilde hareket etmenin beklenen uzun vadeli ödülü
   • Devlette olma olasılığı
   • a eyleminin kaç kez denendiği
   • Yalnızca eylem için anında ödül a
2. Q-Learning neden 'politika dışı' olarak tanımlanıyor?
   • Bir çevre modeli gerektirir
   • Farklı, keşifsel bir politika izlerken en uygun politikayı öğrenebilir
   • Yalnızca depolanan verilerde çevrimdışı çalışır
   • Ödülleri tamamen göz ardı ediyor
3. Güncelleme kuralında indirim faktörü gama neyi kontrol eder?
   • Keşif oranı
   • Durum tablosunun boyutu
   • Gelecekteki ödüllerin anlık olanlara göre ne kadar ağırlıklandırıldığı
   • Bölüm sayısı
4. Q-Learning'deki zamansal fark (TD) hatası nedir?
   • İki devlet arasındaki fark
   • Bir bölümün toplam ödülü
   • Öğrenme oranı çarpı gama
   • r + gamma*max Q(s',a') eksi mevcut Q(s,a) tahmini
5. Düz tablolu Q-Learning neden piksellerden kaynaklanan video oyunları gibi büyük sorunlarla mücadele ediyor?
   • Farklı durumların sayısı bir tabloda depolanamayacak kadar büyük
   • Ödülleri kullanamaz
   • Yalnızca iki eylemle çalışır
   • Gama 1'e eşit olmalıdır
6. Epsilon açgözlü eylem seçiminin amacı nedir?
   • Her zaman en yüksek Q değeri eylemini seçmek için
   • Yeni eylemleri keşfetme ile bilinen iyi eylemlerden yararlanma arasında denge kurmak
   • İndirim faktörünü ayarlamak için
   • Q-tablosunu saklamak için
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities