แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบ Q-Learning

ตรวจสอบค่า Q, การเรียนรู้นอกนโยบาย, การอัปเดตของ Bellman, การสำรวจ, สมมติฐานการลู่เข้า และสาเหตุที่การเรียนรู้แบบ Q จึงไม่ต้องใช้แบบจำลอง

เส้นทางแนะนำที่เกี่ยวข้องการเรียนรู้คิว
คำถาม 1 ของ 8

Q-value Q(s, a) แสดงถึงอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Q-value Q(s, a) แสดงถึงอะไร?
    • รางวัลระยะยาวที่คาดหวังจากการดำเนินการ a ในสถานะ จากนั้นดำเนินการอย่างเหมาะสมที่สุด
    • ความน่าจะเป็นที่จะอยู่ในสถานะ s
    • จำนวนครั้งที่ได้ลองดำเนินการแล้ว
    • รางวัลทันทีสำหรับการกระทำเท่านั้น
  2. เหตุใด Q-Learning จึงถูกอธิบายว่า 'นอกนโยบาย'
    • มันต้องมีแบบจำลองของสภาพแวดล้อม
    • สามารถเรียนรู้นโยบายที่เหมาะสมที่สุดในขณะที่ปฏิบัติตามนโยบายเชิงสำรวจที่แตกต่างออกไป
    • มันทำงานแบบออฟไลน์กับข้อมูลที่เก็บไว้เท่านั้น
    • มันละเว้นผลตอบแทนโดยสิ้นเชิง
  3. ในกฎการอัปเดต แกมม่าตัวประกอบส่วนลดจะควบคุมอะไร
    • อัตราการสำรวจ
    • ขนาดของตารางสถานะ
    • จะมีการถ่วงน้ำหนักรางวัลในอนาคตมากน้อยเพียงใดเมื่อเทียบกับรางวัลที่เกิดขึ้นทันที
    • จำนวนตอน
  4. ข้อผิดพลาด Temporal-difference (TD) ใน Q-Learning คืออะไร
    • ความแตกต่างระหว่างสองรัฐ
    • รางวัลรวมของตอน
    • อัตราการเรียนรู้คูณแกมมา
    • r + gamma*max Q(s',a') ลบค่าประมาณ Q(s,a) ปัจจุบัน
  5. เหตุใด Q-Learning แบบตารางธรรมดาจึงต้องต่อสู้กับปัญหาใหญ่เช่นวิดีโอเกมจากพิกเซล
    • จำนวนสถานะที่แตกต่างกันมากเกินไปที่จะจัดเก็บในตาราง
    • มันไม่สามารถใช้รางวัลได้
    • ใช้งานได้เพียงสองการกระทำเท่านั้น
    • แกมมาต้องเท่ากับ 1
  6. จุดประสงค์ของการเลือกการกระทำที่โลภของเอปไซลอนคืออะไร?
    • เพื่อเลือกการกระทำที่มีค่า Q สูงสุดเสมอ
    • สร้างสมดุลระหว่างการสำรวจการกระทำใหม่ๆ กับการใช้ประโยชน์จากสิ่งที่ดีที่เป็นที่รู้จัก
    • เพื่อตั้งค่าตัวประกอบส่วนลด
    • เพื่อจัดเก็บ Q-table
  7. What exploration condition appears in the tabular Q-learning convergence result?
    • Only the greedy action is ever sampled
    • Each state must be visited exactly once
    • Every state-action pair must be visited repeatedly under suitable learning conditions
    • The transition model must be known in advance
  8. Why is Q-learning called model-free?
    • It never observes the environment
    • It does not use rewards
    • It requires a complete transition table before learning
    • It updates values from sampled rewards and next states without storing transition probabilities