Kvíz spojený s průvodcem · Střední úroveň
Multiagentní posilovací výukový kvíz
Studujte, jak se několik agentů posilujícího učení učí za sdílených odměn, změn oponentů, dílčích názorů a omezení koordinace.
Otázka 1 z 8
Co dělá prostředí „nestacionárním“ z pohledu jednoho agenta v MARL?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co dělá prostředí „nestacionárním“ z pohledu jednoho agenta v MARL?
- Ostatní agenti se současně učí a mění své vlastní zásady
- Funkce odměn je náhodně resetována každou epizodou
- Stavový prostor roste bez omezení v průběhu času
- Senzory vracejí hlučná pozorování
- Co znamená „centralizované školení s decentralizovaným prováděním“ (CTDE)?
- Agenti jsou vyškoleni a provozováni na jediném centrálním serveru
- Sdílený kritik používá globální informace během školení, ale agenti jednají na základě místních pozorování při nasazení
- Jeden hlavní agent vydává příkazy všem ostatním za běhu
- Školicí data jsou centralizovaná, ale odměny jsou decentralizované
- Který matematický rámec zobecňuje jednoagentovou MDP na více agentů?
- Lineární program
- Skrytý Markovův model
- Hra Markov (stochastická hra)
- Konečný automat
- Jak je v čistě kooperativním prostředí MARL obvykle strukturována odměna?
- Každý agent maximalizuje odměnu, která je negativní od jiného
- Odměnu obdrží pouze nejrychlejší agent
- Odměny jsou přidělovány náhodně v každém kroku
- Agenti sdílejí společnou týmovou odměnu, kterou společně maximalizují
- Which training approach did OpenAI Five use to improve at Dota 2?
- Self-play against copies of its own current and past policies
- A fixed lookup table of human moves
- A supervised-only classifier trained on image labels
- A single policy trained only against a static scripted opponent
- Proč je „úvěrové přidělení“ v kooperativním MARL obzvláště těžké?
- Odměny přicházejí okamžitě a lze je snadno dohledat
- Je obtížné určit, které akce agenta přispěly ke sdílenému výsledku týmu
- Odměnu dostává vždy jen jeden agent
- Agenti nemohou pozorovat vůbec žádnou odměnu
- What structural constraint does QMIX place on its mixing network?
- It must be a linear sum with fixed weights
- It ignores all individual agent values
- The joint action-value is monotonic in each agent’s individual value
- It requires communication at every action step
- How does Value Decomposition Networks (VDN) form the team action-value?
- By multiplying all rewards by the number of agents
- By selecting the largest local reward only
- By training a separate team for each agent
- By summing the individual agents’ action-values