Pembelajaran Penguatan Multi-Agen
Pembelajaran Penguatan Multi-Agen (MARL) melatih beberapa agen pembelajaran yang berbagi lingkungan, masing-masing menyesuaikan perilakunya sementara yang lain juga beradaptasi.
Ikhtisar
It matters because most real-world problems — traffic, markets, teams of robots — involve many decision-makers, not one.
Menyelam Lebih Dalam
Dalam pembelajaran penguatan agen tunggal, satu agen mempelajari kebijakan dengan memaksimalkan imbalan dalam lingkungan tetap. MARL menambahkan lebih banyak agen, dan hal ini mengubah segalanya: dari sudut pandang masing-masing agen, lingkungan tidak stasioner karena agen lain terus mengubah kebijakannya. Agen bisa bersifat kooperatif (berbagi hadiah tim, seperti robot yang bermain sepak bola), kompetitif (zero-sum, seperti poker atau penghindaran pengejaran), atau campuran. Peneliti menggunakan formalisme seperti permainan Markov (permainan stokastik) yang menggeneralisasi Proses Keputusan Markov agen tunggal. Hasil yang terkenal termasuk AlphaStar DeepMind yang mencapai Grandmaster di StarCraft II dan OpenAI Lima tim Dota 2 profesional yang mengalahkan, keduanya mengandalkan populasi agen yang dilatih satu sama lain melalui permainan mandiri.
Wawasan Teknis
Tantangan utamanya adalah non-stasioneritas: ketika setiap agen memperbarui kebijakannya, agen lain menghadapi target yang terus berubah, sehingga pembelajaran independen yang naif bisa gagal untuk menyatu. Perbaikan yang populer adalah pelatihan terpusat dengan eksekusi terdesentralisasi (CTDE), yang digunakan oleh algoritma seperti MADDPG dan QMIX. Selama pelatihan, kritikus melihat observasi dan tindakan semua agen untuk menghitung gradien stabil, namun saat penerapan, setiap agen bertindak hanya menggunakan observasi lokalnya sendiri — menggabungkan pembelajaran terkoordinasi dengan operasi praktis dan independen.
Dampak Strategis
Clearer decisions
Ini membantu Anda memisahkan klaim teknis yang jelas dari bahasa pemasaran.
Cost and budget
Anda dapat mengajukan pertanyaan implementasi yang lebih baik sebelum mengeluarkan uang atau waktu.
Team and workflow
Tim dengan pemahaman bersama membuat keputusan produk, kebijakan, dan pembelajaran yang lebih baik.
Masa Depan Pembelajaran Penguatan Multi-Agen
MARL bergerak menuju sistem yang lebih besar dan terbuka di mana agen masuk dan keluar, dan menuju tim agen berbasis LLM yang bernegosiasi, mendelegasikan, dan menggunakan alat bersama-sama. Harapkan kemajuan dalam penugasan kredit yang terukur (siapa yang berhak mendapatkan penghargaan dalam tim besar), protokol komunikasi yang muncul, dan jaminan keamanan untuk agen pesaing. Ketika kendaraan otonom, jaringan energi, dan sistem perdagangan semakin berinteraksi, koordinasi multi-agen yang kuat – dan menghindari kolusi atau putaran umpan balik yang mengganggu stabilitas – menjadi perhatian utama dalam praktik dan peraturan.
Implementasi Dunia Nyata
Mengkoordinasikan armada robot gudang sehingga dapat mengarahkan paket tanpa bertabrakan atau menemui jalan buntu di lorong
Pengendalian sinyal lalu lintas di mana setiap persimpangan merupakan agen yang belajar mengurangi kemacetan di seluruh kota
Game pelatihan AI seperti OpenAI Five (Dota 2) dan AlphaStar (StarCraft II) melalui permainan mandiri di antara banyak agen
Mengelola tanggapan tawaran dan permintaan di antara baterai dan rumah yang didistribusikan dalam jaringan listrik pintar
Risiko & Pagar Pembatas
Tim yang berbeda mungkin menggunakan istilah yang sama secara berbeda, jadi tentukan cakupannya sejak dini.
Tolok ukur dapat terlihat kuat sementara kinerja di dunia nyata tidak merata.
Mengabaikan kualitas data dan rencana evaluasi sering kali menimbulkan hasil yang rapuh.
Peta Jalan Implementasi
Mulailah dengan definisi bahasa sederhana tentang hasil yang Anda butuhkan.
Pilih satu metrik keberhasilan dan satu kondisi kegagalan sebelum pengujian.
Jalankan uji coba kecil dengan data yang representatif, bukan kumpulan demo yang disempurnakan.
Dokumentasikan di mana Pembelajaran Penguatan Multi-Agen membantu dan di mana metode yang lebih sederhana lebih baik.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Agent Reinforcement Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Pembelajaran Penguatan
Pertanyaan yang sering diajukan
What is Multi-Agent Reinforcement Learning?
Pembelajaran Penguatan Multi-Agen (MARL) melatih beberapa agen pembelajaran yang berbagi lingkungan, masing-masing menyesuaikan perilakunya sementara yang lain juga beradaptasi. Hal ini penting karena sebagian besar permasalahan di dunia nyata – lalu lintas, pasar, tim robot – melibatkan banyak pengambil keputusan, bukan hanya satu.
Apa yang membuat lingkungan 'non-stasioner' dari sudut pandang salah satu agen di MARL?
Karena setiap agen memperbarui kebijakannya selama pelatihan, setiap agen secara efektif menghadapi target yang bergerak — dinamika lingkungan berubah seiring dengan pembelajaran yang dipelajari oleh agen lainnya.
Apa yang dimaksud dengan 'pelatihan terpusat dengan eksekusi terdesentralisasi' (CTDE)?
Metode CTDE seperti MADDPG dan QMIX mengeksploitasi informasi global untuk pembelajaran yang stabil, sementara setiap agen mengeksekusi hanya menggunakan pengamatannya sendiri.
Kerangka matematika manakah yang menggeneralisasi MDP agen tunggal menjadi banyak agen?
Permainan Markov (juga disebut permainan stokastik) memperluas MDP dengan melakukan tindakan bersama dan imbalan per agen di berbagai pengambil keputusan.
Dalam lingkungan MARL yang murni kooperatif, bagaimana biasanya struktur imbalannya?
Pengaturan kooperatif memberi agen tujuan bersama, sehingga tantangannya menjadi mengoordinasikan tindakan dan memberikan penghargaan dalam tim.
Teknik manakah yang memungkinkan sistem seperti OpenAI Five dan AlphaStar berkembang tanpa data gameplay manusia?
Permainan mandiri mengadu agen dengan versi diri mereka yang terus berkembang, sehingga menciptakan kurikulum otomatis yang berisi lawan yang semakin kuat.