Bài kiểm tra học tập tăng cường đa tác nhân

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Điều gì khiến môi trường trở nên 'không cố định' theo quan điểm của một tác nhân trong MARL?
   • Các đại lý khác đang đồng thời học hỏi và thay đổi chính sách của riêng họ
   • Chức năng thưởng được reset ngẫu nhiên theo từng tập
   • Không gian trạng thái mở rộng không giới hạn theo thời gian
   • Cảm biến trả về các quan sát nhiễu
2. 'Đào tạo tập trung với thực thi phi tập trung' (CTDE) nghĩa là gì?
   • Đại lý được đào tạo và chạy trên một máy chủ trung tâm duy nhất
   • Một nhà phê bình được chia sẻ sử dụng thông tin toàn cầu trong quá trình đào tạo, nhưng các tổng đài viên hành động dựa trên quan sát cục bộ khi triển khai
   • Một tác nhân chính đưa ra lệnh cho tất cả những tác nhân khác trong thời gian chạy
   • Dữ liệu đào tạo được tập trung nhưng phần thưởng được phân cấp
3. Khung toán học nào khái quát hóa MDP một tác nhân cho nhiều tác nhân?
   • Chương trình tuyến tính
   • Mô hình Markov ẩn
   • Trò chơi Markov (trò chơi ngẫu nhiên)
   • Máy tự động trạng thái hữu hạn
4. Trong bối cảnh MARL thuần túy hợp tác, phần thưởng thường được cấu trúc như thế nào?
   • Mỗi tác nhân tối đa hóa phần thưởng bằng phần thưởng âm của tác nhân khác
   • Chỉ đại lý nhanh nhất mới nhận được bất kỳ phần thưởng nào
   • Phần thưởng được phân ngẫu nhiên ở mỗi bước
   • Các đại lý chia sẻ phần thưởng chung của nhóm mà họ cùng nhau tối đa hóa
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. Tại sao việc 'phân công tín dụng' lại đặc biệt khó khăn trong MARL hợp tác?
   • Phần thưởng đến ngay lập tức và dễ dàng theo dõi
   • Rất khó để xác định hành động của tác nhân nào đã góp phần vào kết quả chung của nhóm
   • Chỉ có một đại lý nhận được phần thưởng
   • Đại lý không thể quan sát bất kỳ phần thưởng nào cả
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values