Kuis Pembelajaran Penguatan Multi-Agen

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang membuat lingkungan 'non-stasioner' dari sudut pandang salah satu agen di MARL?
   • Agen-agen lain secara bersamaan mempelajari dan mengubah kebijakan mereka sendiri
   • Fungsi hadiah diatur ulang secara acak setiap episode
   • Ruang negara berkembang tanpa batas seiring berjalannya waktu
   • Sensor mengembalikan pengamatan yang bising
2. Apa yang dimaksud dengan 'pelatihan terpusat dengan eksekusi terdesentralisasi' (CTDE)?
   • Agen dilatih dan dijalankan di satu server pusat
   • Kritikus bersama menggunakan informasi global selama pelatihan, namun agen bertindak berdasarkan observasi lokal saat penempatan
   • Satu agen master mengeluarkan perintah kepada semua agen lainnya saat runtime
   • Data pelatihan dipusatkan tetapi imbalannya didesentralisasi
3. Kerangka matematika manakah yang menggeneralisasi MDP agen tunggal menjadi banyak agen?
   • Sebuah program linier
   • Model Markov yang tersembunyi
   • Permainan Markov (permainan stokastik)
   • Sebuah robot keadaan terbatas
4. Dalam lingkungan MARL yang murni kooperatif, bagaimana biasanya struktur imbalannya?
   • Masing-masing agen memaksimalkan imbalan yang negatif bagi agen lainnya
   • Hanya agen tercepat yang menerima imbalan apa pun
   • Hadiah diberikan secara acak pada setiap langkah
   • Agen berbagi imbalan tim yang sama yang mereka maksimalkan bersama
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. Mengapa 'penugasan kredit' sangat sulit di koperasi MARL?
   • Hadiah tiba secara instan dan mudah dilacak
   • Sulit untuk menentukan tindakan agen mana yang berkontribusi terhadap hasil tim bersama
   • Hanya ada satu agen yang menerima hadiah
   • Agen tidak dapat melihat imbalan apa pun sama sekali
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values