Kvíz spojený s průvodcem · Střední úroveň

Multiagentní posilovací výukový kvíz

Studujte, jak se několik agentů posilujícího učení učí za sdílených odměn, změn oponentů, dílčích názorů a omezení koordinace.

Související vodicí cestyMultiagentní posilovací učení
Otázka 1 z 8

Co dělá prostředí „nestacionárním“ z pohledu jednoho agenta v MARL?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co dělá prostředí „nestacionárním“ z pohledu jednoho agenta v MARL?
    • Ostatní agenti se současně učí a mění své vlastní zásady
    • Funkce odměn je náhodně resetována každou epizodou
    • Stavový prostor roste bez omezení v průběhu času
    • Senzory vracejí hlučná pozorování
  2. Co znamená „centralizované školení s decentralizovaným prováděním“ (CTDE)?
    • Agenti jsou vyškoleni a provozováni na jediném centrálním serveru
    • Sdílený kritik používá globální informace během školení, ale agenti jednají na základě místních pozorování při nasazení
    • Jeden hlavní agent vydává příkazy všem ostatním za běhu
    • Školicí data jsou centralizovaná, ale odměny jsou decentralizované
  3. Který matematický rámec zobecňuje jednoagentovou MDP na více agentů?
    • Lineární program
    • Skrytý Markovův model
    • Hra Markov (stochastická hra)
    • Konečný automat
  4. Jak je v čistě kooperativním prostředí MARL obvykle strukturována odměna?
    • Každý agent maximalizuje odměnu, která je negativní od jiného
    • Odměnu obdrží pouze nejrychlejší agent
    • Odměny jsou přidělovány náhodně v každém kroku
    • Agenti sdílejí společnou týmovou odměnu, kterou společně maximalizují
  5. Which training approach did OpenAI Five use to improve at Dota 2?
    • Self-play against copies of its own current and past policies
    • A fixed lookup table of human moves
    • A supervised-only classifier trained on image labels
    • A single policy trained only against a static scripted opponent
  6. Proč je „úvěrové přidělení“ v kooperativním MARL obzvláště těžké?
    • Odměny přicházejí okamžitě a lze je snadno dohledat
    • Je obtížné určit, které akce agenta přispěly ke sdílenému výsledku týmu
    • Odměnu dostává vždy jen jeden agent
    • Agenti nemohou pozorovat vůbec žádnou odměnu
  7. What structural constraint does QMIX place on its mixing network?
    • It must be a linear sum with fixed weights
    • It ignores all individual agent values
    • The joint action-value is monotonic in each agent’s individual value
    • It requires communication at every action step
  8. How does Value Decomposition Networks (VDN) form the team action-value?
    • By multiplying all rewards by the number of agents
    • By selecting the largest local reward only
    • By training a separate team for each agent
    • By summing the individual agents’ action-values