Çok Aracılı Takviye Öğrenme Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. MARL'de bir aracının bakış açısına göre ortamı 'sabit olmayan' yapan şey nedir?
   • Diğer etmenler eş zamanlı olarak kendi politikalarını öğreniyor ve değiştiriyorlar
   • Ödül işlevi her bölümde rastgele sıfırlanır
   • Durum alanı zamanla sınırsız olarak büyür
   • Sensörler gürültülü gözlemler döndürüyor
2. 'Merkezi olmayan yürütme ile merkezi eğitim' (CTDE) ne anlama geliyor?
   • Aracılar tek bir merkezi sunucuda eğitilir ve çalıştırılır
   • Paylaşılan bir eleştirmen, eğitim sırasında küresel bilgileri kullanır, ancak aracılar dağıtım sırasında yerel gözlemlere göre hareket eder
   • Bir ana aracı, çalışma zamanında diğerlerine komutlar verir
   • Eğitim verileri merkezileştirilmiştir ancak ödüller merkezi değildir
3. Hangi matematiksel çerçeve tek aracılı MDP'yi birden fazla aracıya genelleştirir?
   • Doğrusal bir program
   • Gizli bir Markov modeli
   • Bir Markov oyunu (stokastik oyun)
   • Sonlu durumlu bir otomat
4. Tamamen işbirliğine dayalı bir MARL ortamında ödül tipik olarak nasıl yapılandırılır?
   • Her temsilci, diğerinin negatifi olan bir ödülü maksimuma çıkarır
   • Yalnızca en hızlı temsilci herhangi bir ödül alır
   • Ödüller her adımda rastgele atanır
   • Temsilciler, ortaklaşa en üst düzeye çıkardıkları ortak bir ekip ödülünü paylaşırlar
5. Which training approach did OpenAI Five use to improve at Dota 2?
   • Self-play against copies of its own current and past policies
   • A fixed lookup table of human moves
   • A supervised-only classifier trained on image labels
   • A single policy trained only against a static scripted opponent
6. Kooperatif MARL'de 'kredi tahsisi' neden özellikle zordur?
   • Ödüller anında gelir ve takip edilmesi kolaydır
   • Hangi temsilcinin eylemlerinin ortak bir ekip sonucuna katkıda bulunduğunu belirlemek zordur
   • Ödül alan tek bir temsilci var
   • Temsilciler hiçbir ödülü gözlemleyemez
7. What structural constraint does QMIX place on its mixing network?
   • It must be a linear sum with fixed weights
   • It ignores all individual agent values
   • The joint action-value is monotonic in each agent’s individual value
   • It requires communication at every action step
8. How does Value Decomposition Networks (VDN) form the team action-value?
   • By multiplying all rewards by the number of agents
   • By selecting the largest local reward only
   • By training a separate team for each agent
   • By summing the individual agents’ action-values