Gids-gekoppelde quiz · Middelmatig Niveau

Leerquiz voor versterking van meerdere agenten

Bestudeer hoe verschillende versterkingslerende agenten leren onder gedeelde beloningen, veranderende tegenstanders, gedeeltelijke opvattingen en coördinatiebeperkingen.

Vraag 1 van 8

Wat maakt de omgeving 'niet-stationair' vanuit het perspectief van één agent in MARL?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat maakt de omgeving 'niet-stationair' vanuit het perspectief van één agent in MARL?
    • Andere agenten leren en veranderen tegelijkertijd hun eigen beleid
    • De beloningsfunctie wordt elke aflevering willekeurig gereset
    • De toestandsruimte groeit in de loop van de tijd onbeperkt
    • Sensoren retourneren luidruchtige waarnemingen
  2. Wat betekent 'gecentraliseerde training met gedecentraliseerde uitvoering' (CTDE)?
    • Agenten worden getraind en draaien op één centrale server
    • Een gedeelde criticus maakt tijdens de training gebruik van mondiale informatie, maar agenten handelen tijdens de inzet op basis van lokale observaties
    • Eén hoofdagent geeft tijdens runtime opdrachten aan alle anderen
    • Trainingsgegevens zijn gecentraliseerd, maar beloningen zijn gedecentraliseerd
  3. Welk wiskundig raamwerk generaliseert de single-agent MDP naar meerdere agenten?
    • Een lineair programma
    • Een verborgen Markov-model
    • Een Markov-spel (stochastisch spel)
    • Een eindige toestandsautomaat
  4. Hoe is de beloning doorgaans gestructureerd in een puur coöperatieve MARL-omgeving?
    • Elke agent maximaliseert een beloning die het negatieve is van die van een ander
    • Alleen de snelste agent ontvangt een beloning
    • Beloningen worden bij elke stap willekeurig toegewezen
    • Agenten delen een gemeenschappelijke teambeloning die ze gezamenlijk maximaliseren
  5. Welke trainingsaanpak gebruikte OpenAI Five om te verbeteren in Dota 2?
    • Self-play against copies of its own current and past policies
    • A fixed lookup table of human moves
    • A supervised-only classifier trained on image labels
    • A single policy trained only against a static scripted opponent
  6. Waarom is 'krediettoekenning' vooral moeilijk in coöperatieve MARL?
    • Beloningen komen onmiddellijk binnen en zijn gemakkelijk te traceren
    • Het is moeilijk om te bepalen welke acties van de agent hebben bijgedragen aan een gedeeld teamresultaat
    • Er is altijd maar één agent die een beloning ontvangt
    • Agenten kunnen helemaal geen beloning waarnemen
  7. What structural constraint does QMIX place on its mixing network?
    • It must be a linear sum with fixed weights
    • It ignores all individual agent values
    • The joint action-value is monotonic in each agent’s individual value
    • It requires communication at every action step
  8. How does Value Decomposition Networks (VDN) form the team action-value?
    • By multiplying all rewards by the number of agents
    • By selecting the largest local reward only
    • By training a separate team for each agent
    • By summing the individual agents’ action-values