แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบ Q-Learning
ตรวจสอบค่า Q, การเรียนรู้นอกนโยบาย, การอัปเดตของ Bellman, การสำรวจ, สมมติฐานการลู่เข้า และสาเหตุที่การเรียนรู้แบบ Q จึงไม่ต้องใช้แบบจำลอง
คำถาม 1 ของ 8
Q-value Q(s, a) แสดงถึงอะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Q-value Q(s, a) แสดงถึงอะไร?
- รางวัลระยะยาวที่คาดหวังจากการดำเนินการ a ในสถานะ จากนั้นดำเนินการอย่างเหมาะสมที่สุด
- ความน่าจะเป็นที่จะอยู่ในสถานะ s
- จำนวนครั้งที่ได้ลองดำเนินการแล้ว
- รางวัลทันทีสำหรับการกระทำเท่านั้น
- เหตุใด Q-Learning จึงถูกอธิบายว่า 'นอกนโยบาย'
- มันต้องมีแบบจำลองของสภาพแวดล้อม
- สามารถเรียนรู้นโยบายที่เหมาะสมที่สุดในขณะที่ปฏิบัติตามนโยบายเชิงสำรวจที่แตกต่างออกไป
- มันทำงานแบบออฟไลน์กับข้อมูลที่เก็บไว้เท่านั้น
- มันละเว้นผลตอบแทนโดยสิ้นเชิง
- ในกฎการอัปเดต แกมม่าตัวประกอบส่วนลดจะควบคุมอะไร
- อัตราการสำรวจ
- ขนาดของตารางสถานะ
- จะมีการถ่วงน้ำหนักรางวัลในอนาคตมากน้อยเพียงใดเมื่อเทียบกับรางวัลที่เกิดขึ้นทันที
- จำนวนตอน
- ข้อผิดพลาด Temporal-difference (TD) ใน Q-Learning คืออะไร
- ความแตกต่างระหว่างสองรัฐ
- รางวัลรวมของตอน
- อัตราการเรียนรู้คูณแกมมา
- r + gamma*max Q(s',a') ลบค่าประมาณ Q(s,a) ปัจจุบัน
- เหตุใด Q-Learning แบบตารางธรรมดาจึงต้องต่อสู้กับปัญหาใหญ่เช่นวิดีโอเกมจากพิกเซล
- จำนวนสถานะที่แตกต่างกันมากเกินไปที่จะจัดเก็บในตาราง
- มันไม่สามารถใช้รางวัลได้
- ใช้งานได้เพียงสองการกระทำเท่านั้น
- แกมมาต้องเท่ากับ 1
- จุดประสงค์ของการเลือกการกระทำที่โลภของเอปไซลอนคืออะไร?
- เพื่อเลือกการกระทำที่มีค่า Q สูงสุดเสมอ
- สร้างสมดุลระหว่างการสำรวจการกระทำใหม่ๆ กับการใช้ประโยชน์จากสิ่งที่ดีที่เป็นที่รู้จัก
- เพื่อตั้งค่าตัวประกอบส่วนลด
- เพื่อจัดเก็บ Q-table
- What exploration condition appears in the tabular Q-learning convergence result?
- Only the greedy action is ever sampled
- Each state must be visited exactly once
- Every state-action pair must be visited repeatedly under suitable learning conditions
- The transition model must be known in advance
- Why is Q-learning called model-free?
- It never observes the environment
- It does not use rewards
- It requires a complete transition table before learning
- It updates values from sampled rewards and next states without storing transition probabilities