Quiz połączony z przewodnikiem · Średni Poziom

Quiz dotyczący uczenia się ze wzmocnieniem wieloagentowym

Zbadaj, jak kilku agentów uczenia się przez wzmacnianie uczy się w ramach wspólnych nagród, zmieniających się przeciwników, częściowych poglądów i ograniczeń koordynacyjnych.

Powiązane ścieżki prowadząceUczenie się ze wzmocnieniem wieloagentowym
Pytanie 1 z 8

Co sprawia, że ​​środowisko jest „niestacjonarne” z perspektywy jednego agenta w MARL?

Podgląd każdego pytania8 pytania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

  1. Co sprawia, że ​​środowisko jest „niestacjonarne” z perspektywy jednego agenta w MARL?
    • Inni agenci jednocześnie uczą się i zmieniają swoje własne zasady
    • Funkcja nagrody jest losowo resetowana w każdym odcinku
    • Przestrzeń stanów rośnie w czasie bez ograniczeń
    • Czujniki zwracają zaszumione obserwacje
  2. Co oznacza „scentralizowane szkolenie ze zdecentralizowaną realizacją” (CTDE)?
    • Agenci są szkoleni i działają na jednym centralnym serwerze
    • Wspólny krytyk korzysta z informacji globalnych podczas szkolenia, ale agenci działają w oparciu o lokalne obserwacje podczas wdrażania
    • Jeden agent główny wydaje polecenia wszystkim innym w czasie wykonywania
    • Dane szkoleniowe są scentralizowane, ale nagrody są zdecentralizowane
  3. Które ramy matematyczne uogólniają MDP jednego agenta na wielu agentów?
    • Program liniowy
    • Ukryty model Markowa
    • Gra Markowa (gra stochastyczna)
    • Automat skończony
  4. Jak zazwyczaj skonstruowana jest nagroda w środowisku MARL opartym wyłącznie na współpracy?
    • Każdy agent maksymalizuje nagrodę, która jest negatywna w stosunku do nagrody innego agenta
    • Tylko najszybszy agent otrzymuje nagrodę
    • Nagrody są przydzielane losowo na każdym etapie
    • Agenci dzielą wspólną nagrodę zespołową, którą wspólnie maksymalizują
  5. Which training approach did OpenAI Five use to improve at Dota 2?
    • Self-play against copies of its own current and past policies
    • A fixed lookup table of human moves
    • A supervised-only classifier trained on image labels
    • A single policy trained only against a static scripted opponent
  6. Dlaczego „cesja kredytu” jest szczególnie trudna w spółdzielczym MARL?
    • Nagrody docierają natychmiast i można je łatwo wyśledzić
    • Trudno określić, które działania agenta przyczyniły się do wspólnego wyniku zespołu
    • Zawsze tylko jeden agent otrzymuje nagrodę
    • Agenci w ogóle nie mogą obserwować żadnej nagrody
  7. What structural constraint does QMIX place on its mixing network?
    • It must be a linear sum with fixed weights
    • It ignores all individual agent values
    • The joint action-value is monotonic in each agent’s individual value
    • It requires communication at every action step
  8. How does Value Decomposition Networks (VDN) form the team action-value?
    • By multiplying all rewards by the number of agents
    • By selecting the largest local reward only
    • By training a separate team for each agent
    • By summing the individual agents’ action-values