Tiếp theoHướng dẫn tiếp theo
Học tăng cường
kỹ thuật
HƯỚNG DẪN cơ bản
Học tăng cường đa tác nhân
Multi-agent reinforcement learning studies settings where multiple decision-making agents learn in a shared environment.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Agents may cooperate, compete, or have mixed incentives, and each agent’s learning changes the environment faced by others.
Lặn sâu
Lowe et al. describe MADDPG, which uses centralized critics during training for multi-agent continuous control and decentralized actors at execution. Rashid et al.’s QMIX uses a monotonic mixing network over individual utilities; Sunehag et al.’s VDN sums individual action-values. These are methods for particular cooperative or mixed settings, not interchangeable solutions. Markov games extend the MDP framing to multiple agents with state transitions and agent-specific actions/rewards.
Triển khai trong thế giới thực
In a cooperative benchmark, agents can share a team reward while observing different parts of the environment.
Centralized-training methods may use global state during training and local observations during execution.
Value decomposition methods such as VDN and QMIX represent team values using individual agent values under different structural assumptions.
Self-play can train against copies or versions of a policy, as evaluated in particular competitive-game studies.
Tương lai của việc học tăng cường đa tác nhân
Choose methods by the environment’s observability, reward structure, communication limits and evaluation task. Report benchmark and training conditions because a result on one multi-agent scenario does not guarantee transfer to another. The cited papers do not establish broad current deployments in warehouses, traffic or healthcare.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Quyết định rõ ràng hơn. Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
- Chi phí và ngân sách. Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
- Nhóm và quy trình làm việc. Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
coi chừng
- Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
- Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
- Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Các bước tiếp theo
- Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
- Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
- Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
- Tài liệu nơi Học tập tăng cường đa tác nhân hữu ích và nơi các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Multi-Agent Reinforcement Learning quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Học Tăng cường đa tác nhân là gì?
Multi-agent reinforcement learning studies settings where multiple decision-making agents learn in a shared environment. Agents may cooperate, compete, or have mixed incentives, and each agent’s learning changes the environment faced by others.
Điều gì khiến môi trường trở nên 'không cố định' theo quan điểm của một tác nhân trong MARL?
Vì mọi tổng đài viên đều cập nhật chính sách của mình trong quá trình đào tạo nên mỗi tổng đài viên đều phải đối mặt với một mục tiêu đang di chuyển một cách hiệu quả — động lực của môi trường thay đổi khi những tổng đài viên khác học hỏi.
'Đào tạo tập trung với thực thi phi tập trung' (CTDE) nghĩa là gì?
Các phương pháp CTDE như MADDPG và QMIX khai thác thông tin toàn cầu để học ổn định, trong khi mỗi tác nhân chỉ thực hiện bằng cách sử dụng các quan sát của riêng mình.
Khung toán học nào khái quát hóa MDP một tác nhân cho nhiều tác nhân?
Trò chơi Markov (còn gọi là trò chơi ngẫu nhiên) mở rộng MDP bằng cách có các hành động chung và phần thưởng cho mỗi tác nhân đối với nhiều người ra quyết định.
Trong bối cảnh MARL thuần túy hợp tác, phần thưởng thường được cấu trúc như thế nào?
Cài đặt hợp tác mang lại cho các đại lý một mục tiêu chung, do đó, thách thức trở thành việc phối hợp các hành động và phân công công lao trong nhóm.
Which training approach did OpenAI Five use to improve at Dota 2?
The OpenAI Five paper describes large-scale self-play, including games against versions of the policy. AlphaStar also used human-game data in its training, so this item is specific to OpenAI Five.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này