Maswali ya Kujifunza

Majibu na maelezo huonekana unapojibu maswali.

1. Q-thamani Q(s, a) inawakilisha nini?
   • Zawadi ya muda mrefu inayotarajiwa ya kuchukua hatua katika jimbo, kisha kuchukua hatua ipasavyo
   • Uwezekano wa kuwa katika jimbo s
   • Idadi ya mara kitendo a kimejaribiwa
   • Malipo ya haraka tu kwa hatua a
2. Kwa nini Q-Learning inaelezewa kama 'isiyo ya sera'?
   • Inahitaji mfano wa mazingira
   • Inaweza kujifunza sera bora zaidi huku ikifuata sera tofauti ya uchunguzi
   • Inafanya kazi nje ya mtandao kwenye data iliyohifadhiwa pekee
   • Inapuuza tuzo kabisa
3. Katika sheria ya sasisho, kipengele cha punguzo cha gamma kinadhibiti nini?
   • Kiwango cha uchunguzi
   • Ukubwa wa meza ya serikali
   • Ni zawadi ngapi za siku zijazo hupimwa ikilinganishwa na za haraka
   • Idadi ya vipindi
4. Je, ni kosa gani la tofauti ya muda (TD) katika Q-Learning?
   • Tofauti kati ya majimbo mawili
   • Jumla ya zawadi ya kipindi
   • Kiwango cha kujifunza mara gamma
   • r + gamma*max Q(s',a') ukiondoa makadirio ya Q(s,a) ya sasa
5. Kwa nini mafunzo ya Q-Learning ya jedwali yanapambana na matatizo makubwa kama vile michezo ya video kutoka kwa saizi?
   • Idadi ya majimbo mahususi ni kubwa mno kuweza kuhifadhiwa kwenye jedwali
   • Haiwezi kutumia zawadi
   • Inafanya kazi na vitendo viwili tu
   • Gamma lazima iwe sawa na 1
6. Madhumuni ya uteuzi wa hatua ya pupa ya epsilon ni nini?
   • Ili kuchagua kitendo cha thamani ya juu zaidi ya Q kila wakati
   • Kusawazisha kuchunguza vitendo vipya na kutumia vyema vinavyojulikana
   • Ili kuweka kipengele cha punguzo
   • Ili kuhifadhi jedwali la Q
7. What exploration condition appears in the tabular Q-learning convergence result?
   • Only the greedy action is ever sampled
   • Each state must be visited exactly once
   • Every state-action pair must be visited repeatedly under suitable learning conditions
   • The transition model must be known in advance
8. Why is Q-learning called model-free?
   • It never observes the environment
   • It does not use rewards
   • It requires a complete transition table before learning
   • It updates values from sampled rewards and next states without storing transition probabilities