Kuis Pembelajaran Q

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang diwakili oleh nilai Q Q(s, a)?
   • Imbalan jangka panjang yang diharapkan dari mengambil tindakan a di negara bagian s, kemudian bertindak secara optimal
   • Peluang berada di negara bagian s
   • Berapa kali tindakan a telah dicoba
   • Imbalan langsung hanya untuk tindakan a
2. Mengapa Q-Learning digambarkan sebagai 'di luar kebijakan'?
   • Hal ini membutuhkan model lingkungan
   • Ia dapat mempelajari kebijakan optimal sambil mengikuti kebijakan eksplorasi yang berbeda
   • Ini hanya berfungsi offline pada data yang disimpan
   • Itu mengabaikan imbalan sepenuhnya
3. Dalam aturan pembaruan, apa yang dikontrol oleh faktor diskon gamma?
   • Tingkat eksplorasi
   • Ukuran tabel negara bagian
   • Berapa besar imbalan di masa depan yang dibandingkan dengan imbalan yang akan datang
   • Jumlah episode
4. Apa kesalahan perbedaan temporal (TD) di Q-Learning?
   • Perbedaan antara dua negara bagian
   • Total hadiah sebuah episode
   • Kecepatan pemelajaran dikalikan gamma
   • r + gamma*max Q(s',a') dikurangi perkiraan Q(s,a) saat ini
5. Mengapa Q-Learning tabel biasa kesulitan dengan masalah besar seperti video game dari piksel?
   • Jumlah negara bagian yang berbeda terlalu besar untuk disimpan dalam sebuah tabel
   • Itu tidak bisa menggunakan hadiah
   • Ini hanya berfungsi dengan dua tindakan
   • Gamma harus sama dengan 1
6. Apa tujuan dari pemilihan tindakan serakah epsilon?
   • Untuk selalu memilih tindakan dengan nilai Q tertinggi
   • Untuk menyeimbangkan eksplorasi tindakan baru dengan mengeksploitasi tindakan baik yang sudah diketahui
   • Untuk mengatur faktor diskon
   • Untuk menyimpan tabel Q
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities