แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเรียนรู้การเสริมกำลังแบบหลายตัวแทน

ศึกษาวิธีที่ตัวแทนการเรียนรู้การเสริมกำลังเรียนรู้ภายใต้รางวัลที่มีร่วมกัน การเปลี่ยนแปลงคู่ต่อสู้ มุมมองบางส่วน และข้อจำกัดในการประสานงาน

เส้นทางแนะนำที่เกี่ยวข้องการเรียนรู้การเสริมกำลังหลายตัวแทน
คำถาม 1 ของ 8

อะไรทำให้สภาพแวดล้อม 'ไม่อยู่กับที่' จากมุมมองของตัวแทนคนหนึ่งใน MARL

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อะไรทำให้สภาพแวดล้อม 'ไม่อยู่กับที่' จากมุมมองของตัวแทนคนหนึ่งใน MARL
    • ตัวแทนอื่นๆ กำลังเรียนรู้และเปลี่ยนแปลงนโยบายของตนเองไปพร้อมๆ กัน
    • ฟังก์ชั่นรางวัลจะถูกรีเซ็ตแบบสุ่มในแต่ละตอน
    • พื้นที่ของรัฐเติบโตอย่างไร้ขอบเขตเมื่อเวลาผ่านไป
    • เซ็นเซอร์ส่งกลับการสังเกตที่มีเสียงดัง
  2. 'การฝึกอบรมแบบรวมศูนย์พร้อมการดำเนินการแบบกระจายอำนาจ' (CTDE) หมายความว่าอย่างไร
    • เจ้าหน้าที่ได้รับการฝึกอบรมและทำงานบนเซิร์ฟเวอร์กลางเครื่องเดียว
    • นักวิจารณ์ที่ใช้ร่วมกันใช้ข้อมูลทั่วโลกในระหว่างการฝึกอบรม แต่เจ้าหน้าที่จะดำเนินการตามข้อสังเกตในท้องถิ่นเมื่อปรับใช้
    • เอเจนต์หลักหนึ่งออกคำสั่งให้กับเอเจนต์อื่น ๆ ทั้งหมดในรันไทม์
    • ข้อมูลการฝึกอบรมจะรวมศูนย์ แต่รางวัลจะกระจายอำนาจ
  3. กรอบงานทางคณิตศาสตร์ใดสรุป MDP แบบเอเจนต์เดียวให้เป็นแบบหลายเอเจนต์
    • โปรแกรมเชิงเส้น
    • โมเดลมาร์คอฟที่ซ่อนอยู่
    • เกม Markov (เกมสุ่ม)
    • หุ่นยนต์ที่มีสถานะจำกัด
  4. ในการตั้งค่า MARL ที่ให้ความร่วมมืออย่างแท้จริง โดยทั่วไปแล้วรางวัลจะมีโครงสร้างอย่างไร
    • เจ้าหน้าที่แต่ละคนจะได้รางวัลสูงสุดซึ่งเป็นผลลบของผู้อื่น
    • เฉพาะตัวแทนที่เร็วที่สุดเท่านั้นที่จะได้รับรางวัล
    • รางวัลจะถูกสุ่มในแต่ละขั้นตอน
    • ตัวแทนแบ่งปันรางวัลร่วมกันของทีมที่พวกเขาร่วมกันสร้างให้สูงสุด
  5. Which training approach did OpenAI Five use to improve at Dota 2?
    • Self-play against copies of its own current and past policies
    • A fixed lookup table of human moves
    • A supervised-only classifier trained on image labels
    • A single policy trained only against a static scripted opponent
  6. เหตุใด 'การกำหนดเครดิต' จึงยากเป็นพิเศษในสหกรณ์ MARL
    • รางวัลมาถึงทันทีและติดตามได้ง่าย
    • เป็นการยากที่จะตัดสินว่าการกระทำของตัวแทนคนใดมีส่วนทำให้เกิดผลลัพธ์ของทีมร่วมกัน
    • มีตัวแทนเพียงคนเดียวเท่านั้นที่ได้รับรางวัล
    • ตัวแทนไม่สามารถรับรางวัลใดๆ ได้เลย
  7. What structural constraint does QMIX place on its mixing network?
    • It must be a linear sum with fixed weights
    • It ignores all individual agent values
    • The joint action-value is monotonic in each agent’s individual value
    • It requires communication at every action step
  8. How does Value Decomposition Networks (VDN) form the team action-value?
    • By multiplying all rewards by the number of agents
    • By selecting the largest local reward only
    • By training a separate team for each agent
    • By summing the individual agents’ action-values